人类有能力学习一个新概念，然后立即用它来理解这个概念的相关用法——一旦孩子们知道如何“跳”，他们就会明白“在房间里跳两圈”或“举手跳”是什么意思。

但是机器有这种思维能力吗?20世纪80年代末，哲学家和认知科学家杰里·福多(Jerry Fodor)和泽农·派利辛(Zenon Pylyshyn)提出，人工神经网络——驱动人工智能和机器学习的引擎——无法建立这些联系，也就是所谓的“组合泛化”。然而，在此后的几十年里，科学家们一直在研究将这种能力灌输到神经网络和相关技术中的方法，但取得了不同的成功，从而使这个长达数十年的争论继续下去。

纽约大学和西班牙庞培法布拉大学的研究人员现在已经开发出一种技术，并发表在《自然》杂志上，该技术提高了这些工具(如ChatGPT)进行组合归纳的能力。这种技术，即组合性元学习(MLC)，超越了现有的方法，在某些情况下甚至比人类的表现更好。MLC的核心是训练神经网络——驱动ChatGPT以及语音识别和自然语言处理相关技术的引擎——通过实践来更好地进行构图泛化。

现有系统的开发人员，包括大型语言模型，都希望组合泛化能够从标准的训练方法中出现，或者已经开发了特殊用途的架构来实现这些能力。作者指出，相比之下，《MLC》展示了如何明确地练习这些技能，让这些系统解锁新的力量。

“35年来，认知科学、人工智能、语言学和哲学领域的研究人员一直在争论神经网络是否能实现类似人类的系统泛化，”纽约大学数据科学和心理学系助理教授、该论文的作者之一布伦登·莱克(Brenden Lake)说。“我们已经首次证明，一个通用的神经网络可以模仿或超越人类的系统泛化，进行面对面的比较。”

为了探索在神经网络中加强作文学习的可能性，研究人员创建了MLC，这是一种新颖的学习过程，在这种过程中，神经网络不断更新以提高其技能。在一个情节中，MLC接收到一个新词，并被要求将其组合使用——例如，取单词“jump”，然后创建新的单词组合，如“jump twice”或“jump around right twice”。然后，MLC接收到一个新集，其中包含一个不同的单词，以此类推，每次都能提高网络的合成技能。

为了测试MLC的有效性，纽约大学“思想、大脑和机器计划”的联合主任Lake和庞培法布拉大学翻译和语言科学系教授、加泰罗尼亚研究所的研究员Marco Baroni进行了一系列与MLC执行的任务相同的人类参与者实验。

此外，除了学习实际单词的含义——人类已经知道的术语——它们还必须学习研究人员定义的无意义术语的含义(例如，“zup”和“dax”)，并知道如何以不同的方式应用它们。MLC的表现和人类参与者一样好，在某些情况下，甚至比人类参与者更好。MLC和人们的表现也优于ChatGPT和GPT-4，后者尽管具有惊人的一般能力，但在这项学习任务中表现出困难。

庞培法布拉大学计算语言学和语言学理论研究小组的成员Baroni说:“像ChatGPT这样的大型语言模型仍然在努力实现组合泛化，尽管近年来它们已经有所改善。”“但我们认为MLC可以进一步提高大型语言模型的合成技能。”

作者：纽约大学

链接：https://www.sciencedaily.com/releases/2023/10/231025163006.htm

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

声明：海森大数据刊发或者转载此文只是出于传递、分享更多信息之目的，并不意味认同其观点或证实其描述。若有来源标注错误或侵犯了您的合法权益，请作者与本网联系，我们将及时更正、删除，谢谢。电话：15264513609，邮箱：1027830374@qq.com