让AI与人类的价值观保持一致，怎么就这么难？

几十年来，我们一直试图根据自己的形象发展人工智能。在此期间，我们一直致力于创造一台像人类一样聪明，像人类一样愚蠢的机器。

然而，经过60年的研发，让AI系统在目标、意图和价值上与人类保持统一，仍然是一个无法实现的目标。AI几乎在所有主要领域都达到了与人类智能相近甚至更高的水平，但在核心领域却始终缺乏。正是这种不足，使得AI技术无法成为我们期待的、有真正逻辑去改变和行动的智能代理。

在最新出版的《机器学习与人类价值观之间的一致性问题》(The Alignment Problem :机器学习与人类价值)一书中，程序员兼研究员Brian Christian讨论了我们如何确保AI模型能够捕捉到“我们的规范和价值观，理解我们的意义或意图，并据此做出优先判断”的现实挑战。近年来，随着机器学习应用范围的逐渐普及，在实际领域做出错误的决策很可能带来灾难性的后果。正是这种背景使得克里斯蒂安的问题越来越迫切。

按照Christian的说法，“随着机器学习系统的日益普及和功能的逐渐增强，我们开始变得像“新手巫师”——。我们有一种自主权力，似乎可以用指令来引导这种权力，但如果指令不够准确或完整，可能会导致一些可怕的、意想不到的后果。”

在书中，克里斯蒂安全面描述了人工智能的现状和整个发展过程，并讨论了现有AI创建方法的各种缺陷。

让我们来看看阅读的要点。

机器学习：将输入映射至输出

在人工智能研究的最初几十年里，符号系统在解决过去涉及逻辑推理的复杂问题方面取得了显著的成就。然而，这种系统很难解决人类儿童能够处理的小问题，例如检测物体、识别人脸以及理解声音和声音。此外，这类系统可扩展性差，往往需要大量人工干预才能建立清晰的规则和知识定义。

最近，世界对机器学习和深度学习的关注开始快速增长，也推动了计算机视觉、语音识别、自然语言处理等领域(传统符号AI无法处理的领域)的快速发展。机器学习算法可以随着数据量和计算资源量同步扩展，带来了人工智能的黄金十年。

但问题是，尽管机器学习算法的效果相当突出，但其本质仍然是初级的。——通过复杂的数学函数将观测结果与结果进行映射。因此，机器学习的质量将直接由数据质量决定，在实际应用中接触到与训练数据不一致的真实材料时，会导致严重的性能下降。

在书中，克里斯蒂安列举了一系列例子来说明机器学习算法遇到的各种尴尬甚至有害的损害。以谷歌照片分类算法为例。这个算法会把皮肤黑的人标记为大猩猩。问题不在于算法本身，而在于使用的训练数据。如果谷歌能在数据集中包含更多深色皮肤的材料，这个问题就可以完全避免。

克里斯蒂安写道：“当然，从理论上讲，这种系统可以从一组例子中学到任何东西。但这也意味着AI系统完全受例子的影响。”

更糟糕的是，机器学习模型无法分辨对错，也无法做出道德决策。机器学习模型的训练数据中的任何问题通常都会以一种潜移默化甚至察觉不到的方式反映在模型行为中。比如2018年，亚马逊关闭了用于做出就业决策的机器学习工具，因为其决策结果明显歧视女性。很明显，AI的创作者并不想根据性别来选择候选人，但由于模型训练中使用的数据来自亚马逊过去的记录，这反映了其就业中的一些倾向。

这只是机器学习模型偏差问题的冰山一角。正是因为这些问题，我们不能完全信任这样的工具，因为机器学习模型会基于我们过去的行为盲目总结经验。

克里斯蒂安写道：“对现实世界建模相对简单，但模型投入使用后，总会有各种变化，甚至反过来改变世界。目前，大多数机器学习模型的设计都有一个普遍的假设，即模型本身不会改变其建模所基于的现实。但这个假设几乎完全站不住脚。事实上，仓促部署此类模型很可能会产生反馈回路，这使得我们越来越难以让它回到正轨。”

人类智能应该在数据收集、模式搜索和将模式转化为行动方面发挥更大的作用。机器学习的现实挑战已经证明，我们对数据甚至机器学习的许多假设是完全错误的。

克里斯蒂安警告说，“我们需要批判性思考.除了训练数据的来源，我们还应该注意标签作为系统中基本事实的来源。人们认为的基本事实往往不是基本事实。”

强化学习：奖励最大化

强化学习同样帮助研究人员实现了非凡的成就，使得AI能够在复杂的电子游戏中击败人类冠军。

过去十年以来，作为AI技术的另一大分支，强化学习同样获得了广泛关注。强化学习要求为模型提供问题空间加奖励函数规则，之后就由模型自主探索整个空间，找出能够实现奖励最大化的方法。

Christian写道，“强化学习……帮助我们一步步探索着智能的普遍、甚至是最本质的定义。如果说John McCarthy提出的「智能是实现真实目标的能力中的计算部分」的说法真实可靠，那么强化学习相当于提供了一套惊人的通用型工具箱。它的核心机理就是在一次又一次试错当中，摸索出新时代下一切人工智能方案的共通基础。”

强化学习确实在雅达利游戏、围棋、《星际争霸2》以及DOTA 2等游戏中表现出色，并在机器人技术领域得到广泛应用。但成功的背后人们也开始意识到，单纯追求外部奖励并不能完全体现智能的运作方式。

一方面，强化学习模型需要漫长的训练周期才能得出简单的判断能力。因此，这方面研究成为极少数掌握无穷资源的科技巨头的专利。另外，强化学习系统的适用性也非常有限——能够在《星际争霸2》中击败人类世界冠军的系统，却无法在其他类似的游戏中触类旁通。强化学习代理也更倾向于通过无止境的循环，以牺牲长期目标的方式追求最简单的奖励最大化路径。以赛车游戏AI为例，它经常会陷入不断收集奖励物品的死循环，却总是赢不下整场比赛。

Christian认为，“消除这种与外部奖励的硬性联系，可能才是构建通用型AI的诀窍所在。因为与雅达利游戏不同，真实生活并不会为我们的每种行为预先设定明确的实时反馈。当然，我们有父母、有老师，他们可以及时纠正我们的拼写、发音和行为模式。但是，这些并不是人生的全部，我们的生活不可能由权威所全面掌控。我们需要根据自己的观点与立场做出判断，这也正是人类族群得以存续发展的根本前提。”

Christian还建议，不妨根据强化学习的原理反其道而行之，“结合预期行为考虑如何构建环境奖励，引导模型一步步掌握行为模式。这就像是面对美食评论家做出一份份食物，思考如何才能获得对方的肯定。”

AI有必要模仿人类吗？

在书中，Christian还讨论了开发AI代理的意义——让这些代理模仿人类行为，真的有意义吗？自动驾驶汽车就是典型实例，代理会通过观察人类司机学习如何驾驶车辆。

模仿确实可以创造奇迹，特别善于处理规则及标签不够明确的问题。但是，模仿也会继承人类智能中的欠缺。人类在年轻时往往通过模仿与死记硬背学习大量知识，但模仿只是我们发展出智能行为的多种机制之一。在观察他人的行为时，我们会根据自己的限制、意图、目标、需求以及价值观调整出适合自己的处理方式。

Christian写道，“如果模仿对象比我们更快、更强壮、身材更高大，那我们就没办法完美模仿他们。这时候一味坚持模仿，只会影响我们解决问题的能力。”

诚然，AI系统确实通过观察并预测我们的行为，尝试以模仿的方式提供帮助。但很明显，AI系统并不像人类这样受到种种约束与限制，因此会导致其误解我们的意图，甚至放大我们的某些不良习惯，最终将负面影响扩散到我们生活中的方方面面。

Christian写道，“我们的数字管家正密切关注我们的私人生活与公共生活，审视着我们好的一面与坏的一面，但却并不清楚这些因素到底有何区别、有何联系。AI系统好似生活在一处诡异而复杂的山谷：能够从我们的行为中推理出复杂的人类欲望模型，但却无法理解这些欲望从何而来。它们努力思考接下来该做什么，但不了解我们想要什么、又是怎样成长为我们自己。”

未来在哪里？

机器学习的进步表明，我们在创造思想机器方面已经取得了一定成就。但是，机器学习带来的挑战与影响，也再次提醒我们应该正视理解人类智能这一前提性难题。

AI科学家与研究人员正探索多种不同方法，希望克服这些障碍，打造出让人类只受益、不受害的AI系统。而在达成这项目标之前，我们需要谨慎行事，不可贸然为这类系统赋予过多权限。

Christian最后警告称，“着眼于当下，最危险的行为就是在机器学习领域找到一种看似合理的模型、急于宣告研究成功——这可能会给整个社会带来灾难性的后果。”