随着科技的飞速发展，人工智能领域取得了令人瞩目的成就。在这其中，大型语言模型（LLMs）以其卓越的性能和广泛的应用前景，成为了当前研究的热点。然而，尽管LLMs在文本生成、语言翻译等领域展现出了惊人的能力，但它们对人类语言理解机制的模拟仍然处于初级阶段。香港理工大学的研究团队最近在这一领域取得了重要突破，他们通过引入下一句预测（NSP）任务，为理解人类话语理解机制提供了新的视角。
该研究以「Predicting the next sentence (not word) in large language models: What model-brain alignment tells us about discourse comprehension」为题，于 2024 年 5 月 23 日发布在《Science Advances》。
语言是人类交流的重要工具，而话语理解则是这一过程中的关键环节。它涉及到跨句子的意义构建，需要整合多个层面的信息以实现对话语的全面理解。传统上，LLMs主要依赖单词预测作为其核心预训练任务，但这种方式往往忽视了话语理解的多层面特性。香港理工大学的研究人员敏锐地捕捉到了这一点，他们通过引入NSP任务，试图在模型层面模拟人类对话语理解的复杂过程。
NSP任务的核心思想是，通过预测文本中的下一句来增强模型对句间关系的理解能力。这与人类在处理和理解话语时的过程非常相似。当我们阅读或聆听一段文字时，我们不仅会关注单个单词或句子的意义，还会将它们整合起来，形成一个连贯的整体。NSP任务的引入，使得LLMs能够更好地模拟这一过程，从而更加准确地理解文本的含义。
为了验证NSP任务的有效性，香港理工大学的研究团队构建了两个基于BERT的深度语言模型（DLM），并在预训练中操纵了NSP的存在。他们使用了两个功能磁共振成像（fMRI）数据集，分别强调连贯和不连接的句子关系，以测试模型在理解话语时的性能。研究结果显示，NSP预训练显著提高了模型在捕捉人类理解能力、编码上下文信息以及产生更接近人类表示方面的能力。
这一发现不仅揭示了NSP任务在模拟人类话语理解机制方面的潜力，也为解决语言神经科学中的一些问题提供了新的视角。例如，在个体差异层面，研究人员发现模型-大脑一致性与阅读时间呈负相关。这意味着，当模型与人类大脑在处理话语时表现出更高的一致性时，人们的阅读速度也会更快。这一发现对于理解阅读技能的形成和提高具有重要意义，同时也为评估阅读效率提供了新的指标。
此外，这项研究还为我们提供了关于左右脑功能分工的新见解。虽然经典左脑语言网络在词语和句子处理中发挥着关键作用，但右脑在话语理解、双语学习、韵律处理及比喻语言理解等高级语言功能中同样扮演着重要角色。这一发现进一步强调了大脑在处理和理解语言时的复杂性和多样性。
香港理工大学的研究团队通过引入NSP任务，为我们打开了一扇探索人类语言理解机制的新窗口。他们的工作不仅展示了LLMs在模拟人类语言处理方面的巨大潜力，也为解决语言神经科学中的一些问题提供了新的思路和方法。随着技术的不断进步和研究的深入，我们有理由相信，在不远的将来，我们将能够更加深入地理解人类语言处理的奥秘，并开发出更加智能、高效的人工智能系统来服务人类社会。