控制论之父今天会如何看待人工智能?

回顾诺伯特·维纳（Norbert Wiener）1950年出版的开创性著作《人有人的用处》（The Human Use of Human being）。

《人有人的用处》，诺伯特·维纳（Norbert Wiener）在1950年出版了影响深远的著作《控制论：或关于在动物和机器中控制和通讯的科学》（1948），在一个机器变得越来越具有计算能力和强大的世界里，研究人类和机器之间的相互作用。这是一本非常有先见之明的书，但却大错特错。这本书写于冷战高峰时期，提醒人们极权主义组织和社会的危险，以及当它试图用极权主义的武器来对抗极权主义时，提醒民主的危险。

维纳的控制论通过反馈对控制过程进行了详细的科学研究。因为他沉浸在控制的问题中，维纳把世界看作是一组复杂的、连锁的反馈回路，其中传感器、信号和执行器（如发动机）通过复杂的信号和信息交换相互作用。控制论的工程应用产生了巨大的影响和效果，产生了火箭、机器人、自动化装配线和大量精密工程技术——换句话说，为当代工业社会奠定了基础。

维纳对控制论概念有更大的野心，然而，在《人有人的用处》中，他详细阐述了自己的思想，并将其应用于各种各样的主题，包括麦克斯韦妖（Maxwell’s demon）、人类语言、大脑、昆虫新陈代谢、法律体系、技术创新在政府中的作用，以及宗教。控制论的这些更广泛的应用几乎毫无疑问是失败的。从20世纪40年代末到60年代初，控制论被大肆宣传——某种程度上类似于计算机和通信技术的大肆宣传，这导致了2000年至2001年互联网泡沫的破灭——它提供了卫星和电话交换系统，但在社会组织和整个社会中几乎没有产生任何有用的发展。

然而，将近70年后，《人有人的用处》比第一次有更多的东西要教给我们人类。也许这本书最显著的特点是，它介绍了大量有关人机交互的主题，这些主题仍然具有相当大的相关性。这本书基调阴暗，对20世纪下半叶将发生的灾难做了几次预测，其中许多预测与今天对21世纪下半叶的预测几乎相同。

例如，维纳预见了1950年不久的将来，人类将把对社会的控制拱手让给具有控制能力的人工智能，然后它将对人类造成巨大的破坏。维纳预测，制造业的自动化将会大大提高生产率，使许多工人失业——在接下来的几十年里确实发生了一系列事件。维纳警告说，除非社会能为这些流离失所的工人找到生产性的职业，否则反抗就会接踵而至。

但是维纳没有预见到关键的技术发展。与上世纪50年代的几乎所有技术专家一样，他未能预测到计算机革命。他认为，计算机的价格最终会从几十万美元（上世纪50年代）降到几万美元；他和他的同事们都没有预料到随着晶体管和集成电路的发展，计算机能力会有巨大的爆炸。最后，由于他对控制的强调，维纳无法预见一个创新和自组织是自下而上，而不是自上而下的技术世界。

着眼于极权主义（政治、科学和宗教)的邪恶，维纳对世界的看法极为悲观。他的书警告说，如果我们不尽快改过自新，等待我们的将是一场灾难。这本书出版后的半个多世纪，当今的人类和机器世界比他所能想象的要复杂得多、丰富得多，包含的政治、社会和科学体系也要广泛得多。然而，如果我们做错了，将会发生什么的警告——例如，全球极权主义政权对整个互联网的控制——今天仍然和1950年一样重要和紧迫。

维纳做对了什么

维纳最著名的数学著作集中在信号分析和噪声影响的问题上。在第二次世界大战期间，他开发了瞄准防空火力的技术，通过建立模型，通过推断飞机过去的行为来预测飞机未来的轨迹。在《控制论》和《人有人的用处》中，维纳指出，过去的行为包括人类飞行员的怪癖和习惯；因此，一个机械装置可以预测人类的行为。艾伦·图灵（Alan Turing）的图灵测试表明，计算机可以回答那些与人类的回答难以区分的问题，和艾伦一样，维纳着迷于用数学描述来捕捉人类行为的概念。20世纪40年代，他将控制和反馈回路的知识应用到生物系统的神经肌肉反馈中，并负责将沃伦·麦卡洛克（Warren McCulloch）和沃尔特·皮茨（Walter Pitts）带到麻省理工学院，在那里他们进行了人工神经网络的开创性工作。

维纳的核心观点是，世界应该用信息来理解。复杂的系统，如有机体、大脑和人类社会，由环环相扣的反馈回路组成，子系统之间的信号交换导致复杂而稳定的行为。当反馈回路崩溃时，系统就不稳定了。他构建了一幅令人信服的关于复杂生物系统如何运作的画面，这幅画面在今天基本上被普遍接受。

维纳将信息视为控制复杂系统行为的核心量的观点在当时是很了不起的。如今，当汽车和冰箱塞满了微处理器，而人类社会的大部分都围绕着由互联网连接起来的电脑和手机，强调信息、计算和通信的中心地位似乎是平淡无奇的。然而，在维纳的时代，第一台数字计算机才刚刚出现，互联网在技术专家眼中甚至还没有出现。

维纳不仅设计了复杂系统，而且把所有复杂系统都看作是围绕信号和计算的循环，这一强有力的概念为复杂人工系统的发展做出了巨大贡献。例如，他和其他人开发的控制导弹的方法，后来被用于建造土星五号月球火箭，这是20世纪最伟大的工程成就之一。尤其是，维纳将控制论概念应用于大脑和计算机化感知，是当今基于神经网络的深度学习回路和人工智能本身的直接前身。但目前这些领域的发展已经偏离了他的设想，它们未来的发展很可能会影响人类和机器的使用。

维纳弄错了什么

正是在将控制论的概念扩展到人类的过程中，维纳的概念没有达到其目的。暂且把他对语言、法律和人类社会的思考放在一边，让我们来看看1950年他认为即将出现的一项更不起眼但可能有用的创新。维纳指出，如果假肢的佩戴者能够通过自己的神经信号直接与假肢进行交流，从假肢接收压力和位置信息，并指导假肢的后续运动，假肢将会更加有效。事实证明，这个问题比维纳设想的要困难得多：七十年后，包含神经反馈的假肢仍处于非常早期的阶段。维纳的概念非常好——只是神经信号与机电设备的接口问题很难解决。

更重要的是，维纳（以及1950年的几乎所有人）大大低估了数字计算的潜力。如前所述，维纳的数学贡献在于对信号和噪声的分析，而他的分析方法适用于连续变化或模拟信号。虽然他参与了战时数字计算的发展，但他从未预见到半导体电路的引入和逐步微型化所带来的计算能力的指数级增长。这绝不是维纳的错：当时晶体管还没有发明出来，而他所熟悉的数字计算机的真空管技术笨重、不可靠，而且无法扩展到更大的设备上。在1948年版《控制论》的附录中，他预测了会下国际象棋的计算机，并预测它们能够预测两三步。他可能会惊讶地发现，在半个世纪内，一台电脑将在国际象棋比赛中击败人类世界冠军。

技术过度刺激与奇点存在的风险

当维纳写书时，一个技术高估的重要例子即将发生。20世纪50年代，赫伯特·西蒙（Herbert Simon）、约翰·麦卡锡（John McCarthy）和马文·明斯基（Marvin Minsky）等研究人员首次尝试开发人工智能，他们开始编写计算机程序来执行简单的任务和构造基本的机器人。这些最初努力的成功激励西蒙宣称“在20年内，机器将能够做任何人类能做的工作。”事实证明，这种预测大错特错。随着计算机变得越来越强大，它们在下棋方面变得越来越好，因为它们可以系统地生成和评估大量未来可能的移动选择。但是人工智能的大部分预测，例如机器人女仆，都是虚幻的。1997年，当深蓝在国际象棋比赛中击败加里·卡斯帕罗夫时，最强大的房间清洁机器人是Roomba，它可以随意地四处吸尘，当它被夹在沙发下面时会发出吱吱的声音。

技术预测尤其不可靠，因为技术是通过一系列的改进来进步的，因障碍而停滞，通过创新来克服。许多障碍和一些创新是可以预见的，但更多的是不能预见的。在我自己与实验员一起构建量子计算机的过程中，我通常会发现，我认为容易的一些技术步骤实际上是不可能的，而我认为不可能的一些任务实际上是容易的。你不尝试就不知道。

20世纪50年代，约翰·冯·诺伊曼（John von Neumann）在与维纳的谈话中受到了一定的启发，提出了“技术奇点”（technological singularity）的概念。技术往往呈指数级发展，在一定的时间间隔内，能力或灵敏度会翻倍。冯·诺伊曼从所观察到的技术进步指数中推断，在不远的将来，“技术进步将变得不可思议地迅速和复杂”（technological progress will become incomprehensively rapid and complicated），超越人类的能力。事实上，如果以目前的速度来推断原始计算能力的增长，在未来的二、四十年里，计算机将与人脑匹敌（这取决于人们如何估计人脑的信息处理能力）。

人工智能最初过于乐观的预测失败了，这让关于技术奇点的讨论沉寂了几十年，但自从雷·库兹韦尔（Ray Kurzweil）的《奇点临近》于2005年出版以来，技术进步将带来超级智能的观点又重新流行起来。包括库兹韦尔在内的一些信徒认为，这个奇点是一个机会：人类可以将他们的大脑与超级智能融合，从而永生。其他人，如斯蒂芬·霍金和埃隆·马斯克，担心这种超级智能会被证明是有害的，并认为它是对人类文明现存的最大威胁。还有一些人认为这种说法言过其实。

维纳一生的工作和他未能预测其后果，与即将到来的技术奇点的想法密切相关。他在神经科学方面的工作，以及他最初对麦卡洛克（McCulloch）和皮茨（Pitts）的支持，预示了当今惊人有效的深度学习方法。在过去的十年里，尤其是在过去的五年里，这种深度学习技巧最终展示出了维纳喜欢称之为格式塔（Gestalt）的东西——例如，识别一个圆是圆的能力，即使当它向一边倾斜时看起来像椭圆。他在控制方面的工作，加上他在神经肌肉反馈方面的工作，对机器人技术的发展具有重要意义，也是基于神经的人机界面的灵感来源。然而，他在技术预测方面的失误表明，我们应该对技术奇点的概念持怀疑态度。技术预测的一般困难和发展超级智能的具体问题应该警告我们不要高估信息处理的能力和效率。

奇点怀疑论的论据

指数增长不会永远持续下去。核爆炸会呈指数级增长，但直到燃料耗尽。同样，摩尔定律的指数进步也开始受到基础物理学的限制。15年前，计算机的时钟速度达到了几十亿赫兹，仅仅是因为芯片开始融化。由于隧道效应和泄漏电流，晶体管的小型化已经遇到了量子力学问题。最终，在摩尔定律的驱动下，内存和处理方面的各种指数级改进将逐渐停止。然而，再过几十年，计算机的原始信息处理能力可能会赶上大脑——至少以比特数和每秒比特翻转数的粗略衡量是这样的。

人类的大脑是复杂构造的，是数百万年的自然选择过程。在维纳时代，我们对大脑结构的理解是原始而简单的。从那以后，越来越灵敏的仪器和成像技术显示，我们的大脑在结构和功能上比维纳想象的要复杂得多。我最近问现代神经科学的先驱之一托马斯·波吉欧（Tomaso Poggio），他是否担心随着计算机处理能力的迅速增强，它们很快就会模仿人脑的功能。“不可能，”他回答。

深度学习和神经形态计算的最新进展非常擅长复制人类智力的一个特定方面，这个方面主要关注大脑皮层的运作，在那里模式被处理和识别。这些进步使得计算机不仅能打败国际象棋世界冠军，还能打败围棋世界冠军，这是一个令人印象深刻的壮举，但它们还远远不能让计算机控制的机器人整理房间。

原始的信息处理能力并不意味着复杂的信息处理能力。虽然计算机的能力呈指数级增长，但计算机运行的程序却常常毫无进展。软件公司对提高处理能力的主要反应之一是增加“有用的”特性，这通常会使软件更难使用。微软Word在1995年达到顶峰，从那以后，在新增功能的重压下，它一直在缓慢下滑。一旦摩尔定律开始放缓，软件开发人员将面临效率、速度和功能之间的艰难选择。

奇点主义者的一个主要担忧是，随着计算机越来越多地参与到设计自己的软件中，它们将很快引导自己获得超人的计算能力。但是机器学习的证据指向相反的方向。随着机器变得越来越强大，越来越有学习能力，它们也会像人类一样学习越来越多的东西。教育对计算机来说就像对青少年一样艰难而缓慢。因此，基于深度学习的系统变得越来越人性化。它们给学习带来的技能不是“优于”而是“补充”人类学习：计算机学习系统可以识别人类不能识别的模式——反之亦然。世界上最好的棋手既不是计算机也不是人类，而是与计算机一起工作的人。网络空间确实充斥着有害的程序，但这些程序主要以恶意软件的形式存在——病毒以其恶意的盲目而闻名，而不是其超级智能。

维纳指出，指数式的技术进步是一种相对现代的现象，并不是所有的技术进步都是好的。他认为原子武器和带有核弹头的导弹的发展是导致人类物种灭亡的原因。他将地球资源的轻率开发比作《爱丽丝梦游仙境》中的疯狂茶会：在破坏了一个地方的环境之后，我们只要继续破坏下一个地方的环境就能取得进步。维纳对计算机和神经机械系统的发展持乐观态度，但他对专制政府对这些系统的利用持悲观态度，比如苏联，以及民主国家，比如美国，在面对独裁主义的威胁时变得更加专制。

维纳会如何看待目前人的用处？他会对计算机和互联网的力量感到惊讶。他会很高兴，他所扮演的早期神经网络已经产生了强大的深度学习系统，这些系统展示了他所要求的感知能力——尽管他可能不会对这种计算机格式塔最突出的例子之一印象深刻，那就是在万维网上识别小猫照片的能力。我怀疑他不会将机器智能视为一种威胁，而是将其视为一种独立的现象，与我们人类的智能不同，并与之共同进化。

对于全球变暖——我们这个时代的疯狂茶党——维纳并不感到意外，他将为替代能源技术的指数级进步而欢呼，并将运用他的控制论专长来开发一套复杂的反馈回路，将这些技术整合到即将到来的智能电网中。尽管如此，认识到气候变化问题的解决至少是政治上的，同时也是技术上的，他无疑会对我们及时解决这个威胁文明的问题感到悲观。维纳讨厌叫卖者——最讨厌的是政治叫卖者——但他承认叫卖者将永远和我们在一起。

人们很容易忘记维纳的世界有多可怕。美国和苏联正在全面展开军备竞赛，在导航系统的洲际弹道导弹的核弹头上安装氢弹，维纳本人——令他沮丧的是——也作出了贡献。维纳死的时候我才四岁。1964年，我所在的幼儿园班级正在课桌下练习躲避和掩护，为核攻击做准备。考虑到人类在他那个时代的用途，如果维纳能看到我们目前的状态，他的第一反应将是庆幸我们还活着。

编译自：What Would the Father of Cybernetics Think About A.I. Today?