原创 | 文 BFT机器人

人类有能力学习一个新概念，然后立即利用它来理解该概念的相关用途，比如一旦孩子们知道如何“跳过”，他们就会理解“在房间里跳两次”或“举起双手跳过”是什么意思。

但是机器能够进行这种思考吗？在1980年代后期，哲学家和认知科学家杰里·福多（Jerry Fodor）和泽农·皮利辛（Zenon Pylyshyn）认为，人工神经网络（驱动人工智能和机器学习的引擎）无法建立这些联系，称为“组合泛化”。然而，在那之后的几十年里，科学家们一直在开发将这种能力灌输到神经网络和相关技术中的方法，但成功与否参差不齐，从而保持了这场长达数十年的争论。

纽约大学和西班牙庞培法布拉大学的研究人员现在已经开发出一种技术——发表在《自然》杂志上——该技术提高了这些工具（如ChatGPT）进行组合概括的能力。这种技术，即组合性元学习（MLC），优于现有方法，与人类表现相当，在某些情况下甚至优于人类表现。MLC的核心是训练神经网络——驱动 ChatGPT 和语音识别和自然语言处理相关技术的引擎——通过实践更好地进行组合泛化。现有系统（包括大型语言模型）的开发人员希望组合泛化能够从标准训练方法中出现，或者为了实现这些能力而开发了专用架构。

作者指出，相比之下，MLC表明，明确地练习这些技能可以使这些系统解锁新的力量。“35年来，认知科学、人工智能、语言学和哲学领域的研究人员一直在争论神经网络是否能够实现类似人类的系统泛化，”纽约大学数据科学中心和心理学系助理教授、该论文的作者之一布伦登·莱克（Brenden Lake）说。“我们首次证明，通用神经网络可以在头对头比较中模仿或超过人类的系统泛化。

在探索在神经网络中加强组合学习的可能性时，研究人员创建了MLC，这是一种新颖的学习程序，其中神经网络在一系列事件中不断更新以提高其技能。在一集中，MLC收到一个新单词，并被要求在组合上使用它。例如，使用单词“jump”，然后创建新的单词组合，例如“jump twice”或“jump around around around twice”。然后，MLC会收到一个包含不同单词的新剧集，依此类推，每次都会提高网络的作曲技巧。

为了测试MLC的有效性，纽约大学Minds， Brains， 和Machines Initiative的联合主任Lake和加泰罗尼亚研究与高级研究所研究员、庞培法布拉大学翻译与语言科学系教授Marco Baroni对人类参与者进行了一系列实验，这些实验与MLC执行的任务相同。

此外，他们还必须学习研究人员定义的无意义术语（例如“zup”和“dax”）的含义，并知道如何以不同的方式应用它们。MLC的表现与人类参与者一样好，在某些情况下，甚至比人类参与者更好。MLC和人们的表现也优于ChatGPT和GPT-4，尽管它们具有惊人的通用能力，但在这项学习任务中表现出困难。

像ChatGPT这样的大型语言模型仍然在组合泛化方面苦苦挣扎，尽管近年来它们已经变得更好了，“庞培法布拉大学计算语言学和语言理论研究小组的成员Baroni说。”但我们认为MLC可以进一步提高大型语言模型的组合能力。

END

若您对该文章内容有任何疑问，请与我们联系，将及时回应。