原作：反向科学

引言：我们中的一些人确切地知道原因：深度学习无法概括

/机器翻译/

摘要

当AGI研究者抱怨深度学习的不足时，AI专家不应感到被冒犯。没有人真的想要摆脱深度学习。虽然 AGI 的出现确实会使深度学习在某些领域变得过时，但我们相信，即使在 AGI 解决之后，它也可能继续对许多自动化任务有用。但是，为了在解决AGI的过程中取得进展，研究人员必须指出深度学习不仅无法解决AGI，而且毫无用处。我们中的一些人确切地知道它为何无用。

注：AGI = 通用人工智能。

没有泛化能力，就没有AGI

深度学习最大的问题在于其固有的无法有效泛化能力。没如果不进行泛化，边缘情况将成为一个无法克服的问题，自动驾驶汽车行业在押注深度学习上浪费了超过 1000 亿美元后才发现这一问题。

深度神经网络无法感知这辆自行车，除非之前经过训练可以识别它。

泛化是智能系统感知任何对象或模式而不识别它的能力。例如，亚马逊印第安人即使以前从未见过自行车，也能立即感知到一辆自行车。他可以立即看到它的 3D 形状、大小、边框、颜色、它的各个部分、它相对于其他物体的位置，无论它是对称的、不透明的、透明的还是部分遮挡的等等。他可以感知所有这些东西，因为他的大脑有概括能力。此外，他对自行车的感知自动地不受视野变化的影响。边缘保持锋利，如果自行车被移动到另一个位置或掉落在地上，他仍然意识到在变换后他仍然在观察同一个物体。变换过程中感知的不变性和连续性都是概括能力的固有组成部分。因此，概括而言，智能系统必须能够立即重新利用其现有的认知构建块来感知全新的对象或模式，而无需学习它们，也就是说，无需专门为它们创建新的构建块。

对于深度学习，如果没有识别，即没有事先学习要感知的对象的表示，感知就不可能实现。如果解决 AGI 是目标的话，这是一个致命的缺陷。有人可能会指出，即使上面例子中的亚马逊印第安人能够感知自行车，他也不知道自行车的用途。这在一定程度上是正确的，但即使在使用数百万张不同类型自行车的图像进行训练后，深度神经网络也无法做到这一点。分类是不理解的，甚至是不接近的。

休伯特·德雷福斯、马丁·海德格尔和概括

泛化是智能的必要条件，因为它使我们能够立即感知无限多种物体、场景和模式。存储所有内容的表示（深度学习方法）是不切实际的、成本高昂的，而且总而言之是愚蠢的。与 DL 的永久表征不同，在具有广义感知的系统（例如大脑）中，一旦感知达到其目的（大约 10-20 毫秒），几乎所有感知都会被遗忘并被新的感知所取代。如有必要，只有少数高级感知痕迹可以永久保留。小细节被遗忘和丢失。但这并不是对智能的新理解。

休伯特·德雷福斯 (1929–2017)

已故存在主义哲学家、铁杆人工智能评论家休伯特·德雷福斯 (Hubert Dreyfus) 喜欢说“世界是它自己的模型”，“世界最好的模型就是世界本身”。这是他解释为所有事物创建存储表示是一个错误的方式。德雷福斯的论点基于他最喜欢的德国哲学家马丁·海德格尔的著作，海德格尔坚持认为世界上的存在或存在（In-der-Welt-sein）总是受环境限制的。也就是说，智能系统必须能够即时、持续地感知世界的变化。因此，世界是系统的一个组成部分，并且始终存在。德雷福斯使用英语术语“presence-at-hand”（来自德语“Vorhandensein”）来指代这一情报原则。

我们认为，海德格尔关于情境约束智能的概念，即每时每刻不断感知世界的智能，正是广义感知的含义。设计一个以世界为自己模型的智能系统，才是解决AGI的正确途径。当然，大脑的记忆中存储着关于世界如何运作的高级“模型”，但该模型并不等同于我们持续感知的模型。否则，我们将有能力在没有眼睛、耳朵和其他感觉器官的情况下发挥作用。

扩展是一个转移注意力的话题

深度学习无法泛化是自动驾驶汽车行业未能生产出全自动驾驶汽车的主要原因。他们只能怪自己，因为当 DL 流行时，许多思想家已经写过有关 DL 的问题的文章。人工智能社区中的一些人坚持认为，深度学习无法泛化的问题可以通过扩展来规避，但这显然不是事实。规模化正是自动驾驶汽车领域研究人员一直在做的事情。这是行不通的。由于极端情况的数量是无限的，因此积累足够数据所需的成本和多年的时间变得站不住脚。

深度神经网络的脆弱性与上世纪基于规则的专家系统没有什么不同。如果这些系统中的任何一个遇到没有现有规则或表示的新情况（甚至是先前学到的情况的轻微变化），则系统将发生灾难性的失败。对抗模式仍然是深度学习的一个大问题。深度神经网络应该被视为类固醇专家系统。解决维数灾难的唯一方法就是泛化。

蜜蜂的大脑太小，无法存储数百万个表征。

大型语言模型 (LLMs) 方面的一些专家提出了这样的概念：如果有足够的数据，LLM 可能会开始泛化。我们不太确定他们期望如何从积累大量数据中产生概括，但这显然是一个谬论。泛化能力与缩放无关。它是一种与生俱来的或内置的能力。即使是小昆虫也会概括。他们必须这样做，因为他们的小大脑不可能存储他们一生中可能遇到的所有物体和模式的数百万个学习表征。换句话说，当扩展成本太高或不可行时，泛化正是所需要的。

破解 AGI 不需要大型计算机和雄厚的财力

人工智能界几乎每个人都认为，解决通用人工智能问题的唯一方法是使用耗资数百万美元的庞大计算资源。在他们看来，AGI只能由大公司或政府研究机构来开发。相比之下，我们相信在一台成本不到 1000 美元的普通台式电脑上破解 AGI 是可能的。感知泛化不需要数十亿个神经元。正如我们在之前的文章中所说，一只低等的蜜蜂只有不到 100 万个神经元，但它可以在高度复杂的 3D 环境中导航和生存。蜜蜂能做到这一点，因为它可以概括。模拟蜜蜂微小大脑的泛化能力就相当于解决通用人工智能问题。仅破解普遍认知就将是一项巨大的成就。相比之下，扩展和添加运动控制、目标导向行为和语言学习能力将是轻而易举的事。没有理由不能在具有数千个神经元的小规模上实现和证明泛化。

我们未来的大多数智能机器人将不需要人类水平的智能。

根据我们对昆虫行为的观察，我们估计用不到 5000 万个神经元就可以实现完全自动驾驶。一个可以学习打扫房间、洗衣服、准备饭菜和照料花园的家政机器人可能只需要不到 1 亿个神经元就可以完成。换句话说，我们未来的智能机器大多数都不需要人类水平的智能。

是的，扩展到完全人类水平或更高的智能将是昂贵的，但这将是一个已知解决方案的工程问题。这不是解决 AGI 问题的必要条件。此外，我们有充分的理由相信，达到人类水平的智力只需要人脑中约 860 亿个神经元中的一小部分。不到 10 亿可能足以完成几乎所有任务。其原因是，大脑中的神经元数量（无论是否人工）是其传感器和效应器数量的函数。与人类和动物相比，我们未来的机器人将拥有很少的传感器和效应器。

这是否意味着 AGI 可以被一个在家工作的孤独特立独行者破解？答案是肯定的。

时间和对称性是智能一切的基础

深度学习研究界的许多杰出人物，甚至一些深度学习的外部批评者，都提出，前进的方向是修改深度学习，使其具有概括和因果推理的能力。心理学家加里·马库斯（Gary Marcus）和他的同事等人认为，实现这一目标的方法是将深度学习与符号人工智能结合起来的混合智能，这是 20 世纪失败的人工智能模型。我们毫无疑问地认为这种做法会失败。

泛化不能是事后的想法或对现有模型的附加。它必须是基础层面情报的重要组成部分。通用智能系统的每个组件在设计时都必须考虑到通用性，在我们看来，这包括传感器和效应器。例如，人类视网膜并不是一个简单的照相传感器。它由许多小的中心环绕感受野组成，旨在检测各种角度的小边缘。我们假设这些边缘检测器是广义视觉感知的基本构建块。同样，我们假设广义听觉感知应该用类似的频率边缘检测器来构建。

中心-环绕感受野。资料来源：哈维穆德学院。

我们建议广义智能基于信号定时和对称性。包括传感器在内的生物神经元发出尖峰信号并非偶然。尖峰是一种短暂的时间标记，表明事件刚刚发生。赫布学习（STDP）基于脉冲计时，是大脑中使用的联想学习的主要方法。生物传感器成对出现也并非偶然。视网膜中的细胞检测正边缘（从暗到亮）和负边缘（从亮到暗）。这种阴阳对称性可以在所有感觉皮层的布线中观察到，并且在运动皮层中也很明显。运动控制依赖于互补的神经元信号（兴奋性和抑制性尖峰），这些信号要么启动运动激活，要么停止运动激活。

幸运的是，我们并不是唯一一个寻求可概括的通用感知机制的人。许多计算神经科学领域的研究人员一直在研究一个被一些人称为系统泛化的概念，即灵活的认知地图能够立即修改自身以应对环境中任何新的可能性的能力。我们认为这才是 AGI 的正确做法。这是分配给人工智能研究的大部分资金应该花在的地方。

 结论

在本文中，我们认为深度学习与真正的智能无关，因为它本质上无法泛化。我们认为，现有学习模型的扩展或附加都不会导致通用人工智能。我们假设大多数智能系统不需要在人类水平上运行，而通用人工智能的基础是信号定时和阴阳对称性。我们计划（在不久的将来）基于我们的想法发布一个抗噪声（低于 5 dB SNR）的语音识别演示应用程序。感谢您的阅读。