从谷歌AI设计芯片上，我们看到了“智能”的本质

在上周发表在同行评议的科学期刊《自然》上的论文中，谷歌大脑团队的科学家介绍了一种用于布局规划的深度强化学习技术，该技术利用人工智能的力量来协调计算机芯片中不同组件的放置。研究人员试图利用强化学习技术设计下一代张量处理单元，这是谷歌引以为豪的专用AI处理器。

在芯片设计中使用软件并不是什么新鲜事，但谷歌研究人员表示，这种新的强化学习模型可以“自动生成芯片布局图，其结果在所有关键指标(包括功耗、性能和芯片面积等)上与人类给出的芯片布局方案相当甚至更好。)更重要的是，它的设计周期比人类的工作时间短得多。

事实上，AI在很多领域比人类更强的智能水平已经引起了各方的关注。一家媒体将其描述为“可以以比人类更快的速度设计计算机芯片的AI软件”，并称“谷歌的新AI可以设计出一套芯片设计，过去人类工程师需要几个月的时间才能在6小时内完成。”

另据报道，“AI技术在AI设计芯片领域的宏大愿景才刚刚开始。”

但通读完这篇论文，真正打动我的不是负责设计计算机芯片的AI系统的极端复杂性，而是人与AI之间和谐高效的协同作用。

类比、直觉与奖励

本文将需要解决的问题描述为：“芯片布局规划的过程包括在芯片画布(2D网格)上放置网表，优化性能指标(如功耗、时序、面积和线长)，并遵循严格的密度限制和路由拥塞限制。”

基本上，这项任务的核心是以最佳方式放置芯片组件。然而，像其他经典问题一样，随着芯片组件数量的增加，找到最佳设计将变得越来越困难。

现有的软件有助于加快发现芯片排列，但如果目标芯片的复杂度过高，传统的软件方案显然无法满足需求。研究人员决定从强化学习的许多案例中学习，以解决其他复杂的空间问题，并发现Go AI在这方面似乎有很大的潜力。

研究人员在论文中写道，“Chip布局规划与Go非常相似，也有棋子(如网表拓扑、宏计数、宏大小和长宽比)、棋盘(不同的画布大小和长宽比)和获胜条件(如密度、路由拥塞限制等不同评价指标的相对重要性)。”

芯片设计需要用——类比，这是人类智能中最重要、最复杂的元素之一。我们可以从过去解决的问题中提取抽象的经验，并将这些经验应用到新的问题中。虽然我们能力的运用可以说是微妙、流畅、自然的，但它本身是极其重要的，甚至可以说是实现迁移学习的前提。正因为如此，研究人员可以将芯片布局问题重新定义为棋盘游戏，并像其他科学家解决围棋游戏一样克服设计问题。

深度强化学习模型特别擅长搜索这个巨大的空间，但是人脑的计算能力水平在物理上无法实现这种处理。然而，科学家面临的芯片设计问题比Go高几个数量级。研究人员写道：“当将1000个节点集群放置在包含1000个单元的网格上时，其状态空间达到数千的数量级(大于10的2500次方)，而Go的状态空间只有10的360次方。”然而，实际需要设计的芯片往往由数百万个节点组成。

最后，他们使用人工神经网络来解决复杂性问题。人工神经网络可以将芯片设计编码成向量表达式，大大降低了探索问题空间的难度。根据论文的解释，“我们有一种直觉，我们可以执行常规芯片放置任务的策略，我们也应该能够将我们从未见过的新的芯片相关状态编码为推理过程中有意义的信号。因此，我们训练了一个可以预测新网络表位置奖励的神经网络架构，最终目标是将这个架构作为策略中的编码器层。”

很多朋友认为“直觉”不可靠，但它涉及到一个非常复杂、鲜为人知的过程，涉及到经验、无意识知识、模式识别等等。我们的直觉往往来自于某个领域多年的经验，但同时也可以从其他专业得到启发。幸运的是，在高性能计算和机器学习工具的帮助下，测试直觉判断变得越来越容易。

此外，值得注意的是，强化学习系统需要设计良好的奖励机制。事实上，一些科学家认为，只要设置了正确的奖励功能，强化学习甚至足以实现人工通用智能(AGI)。如果没有正确的奖励，强化学习代理可能会陷入无限循环，重复愚蠢和无意义的尝试。在下面的视频中，我们可以看到，参加赛艇锦标赛的强化学习代理人一味追求高分，反而放弃了——这个真正重要的目标去赢得比赛。

谷歌的科学家决定将布局规划系统的奖励设计为“代理线路长度、拥挤程度和密度的负加权和。”这里的权重属于一个超参数，在强化学习模型的开发和训练过程中必须进行调整。

有了合适的奖励，强化学习模型可以利用其计算能力找到各种方法来设计可以使奖励最大化的布局图。

策划数据集

系统中使用的深度神经网络，则是通过监督学习开发完成的。监督机器学习需要借助标记数据在训练期间调整模型参数。谷歌科学家们创建了“一套包含10000个芯片元件放置方案的数据集，其中输入信息与给定放置方式保持相关状态，标签则为该放置方法的奖励。”

为了避免手动创建放置平面图，研究人员在数据集中不仅使用人工设计图、也加入了不少计算机生成的数据。论文中并没有详尽介绍评估训练数据集中包含的算法生成示例到底有多少是由人类工程师设计，但可以肯定的是，如果没有高质量的训练数据，监督学习模型最终只会给出糟糕的推理结论。

从这个意义上说，芯片设计AI系统明显不同于其他强化学习程序——以AlphaZero为例，它能够在完全无需人为干涉的情况下发展出强大的围棋对弈策略。但未来，研究人员可能会开发出一种新的强化学习代理，有望自主设计平面图、无需任何监督学习元素。但我的个人猜测是，考虑到设计工作的高度复杂性，此类问题的解决可能仍然需要人类直觉、机器学习与高性能计算的强强联合。

强化学习设计与人类设计

谷歌研究人员的探索带来了种种有趣的结论，而其中最大的亮点当数芯片的实际布局。我们人类会利用各种捷径来克服自己大脑的物理局限。我们没办法一次性啃下包含大量复杂元素的“硬骨头”，但人脑会对整个复杂系统进行模块化与分层拆解，一步步克服其中的挑战。而这种自上而下进行架构考量与设计的能力，无疑将在负责解决极端复杂问题的系统中发挥重要的作用。

这里我们再来看一个软件工程的例子，也就是我（作者）自己的专业领域。理论上，我们当然可以在单一文件中通过一条规模巨大且连绵不绝的命令流中编写整个程序。但软件开发人员从来不会这么编程，我们只会从代码片段、函数、类、模块入手一步步搭建软件成果，并通过定义良好的接口将各种组件连通起来。以此为基础，我们把阶段性成果嵌套进更大的体系，由此逐步构建起一套分组件、分层级的架构。如此一来，我们无需阅读程序中的每一行也能理解它的运作方式。模块化机制使得多位程序员能够同时开发同一程序，而原有程序中的组件也能供更多后续程序使用。有时候，单凭观察程序中的类架构就足以帮助我们找到正确的bug定位路径或者正确的升级添加位置。正因为如此，我们往往愿意牺牲速度来换取更高的模块化水平与更高的设计质量。

同样的指导方针在计算机芯片设计中同样有所体现。人为设计的芯片往往在不同模块之间有着清晰的边界。另一方面，谷歌强化学习代理设计出的平面图则能够从中找到电阻最小的路径，而不再受人脑思维容量的限制。

我很好奇，未来这种AI辅助设计模式会不会成为新的趋势甚至是常态。或者说，机器学习生成的高度优化方案需要做出妥协，由此更好地与人类工程师所强加的自上而下的考量方式相匹配。

AI + 人类智能

正如谷歌强化学习芯片设计师们所言，AI的硬件与软件创新探索仍然离不开人类提供的抽象思维、问题定位、解决方案直觉以及验证数据选择等重要能力。换言之，AI芯片能够不断增强这些技能，但却很难彻底加以替代。

归根结底，我认为此次成果的发布并不代表“AI胜过了人类”、“AI能够创造更智能的AI”或者“AI正在自我递归、自我增强”。更准确地讲，主体仍然是人类——人类在寻求可行的方法，将AI作为前所未有的强大工具借以克服自己的认知限制并扩展自身能力。如果这样的良性循环真的能够发展成熟，相信计算机芯片设计将成为AI与人类之间携手共进的一大理想场景。