模拟人类听觉系统结构和功能的计算模型可以帮助研究人员设计更好的助听器、人工耳蜗和脑机接口。麻省理工学院的一项新研究发现，源自机器学习的现代计算模型正在向这一目标迈进。

在迄今为止对深度神经网络进行的最大规模的研究中，麻省理工学院的研究小组表明，大多数这些模型产生的内部表征与人们在听同样的声音时在人脑中看到的表征具有相同的属性。

该研究还为如何最好地训练这类模型提供了见解:研究人员发现，在听觉输入(包括背景噪音)上训练的模型更接近于模拟人类听觉皮层的激活模式。

“这项研究的与众不同之处在于，它是迄今为止对这些模型与听觉系统进行的最全面的比较。麻省理工学院大脑和认知科学副教授、麻省理工学院麦戈文大脑研究所和大脑、思维和机器中心的成员、该研究的资深作者乔希·麦克德莫特(Josh McDermott)说:“这项研究表明，从机器学习中衍生出来的模型是朝着正确方向迈出的一步，它为我们提供了一些线索，让我们知道是什么使它们成为更好的大脑模型。”

麻省理工学院的研究生Greta Tuckute和22岁的Jenelle Feather博士是这篇开放获取论文的主要作者，该论文今天发表在《公共科学图书馆·生物学》杂志上。

听力模型

深度神经网络是由多层信息处理单元组成的计算模型，可以对大量数据进行训练，以执行特定任务。这种类型的模型已经被广泛应用于许多应用中，神经科学家已经开始探索这种系统也可以用来描述人类大脑如何执行某些任务的可能性。

塔库特说:“这些用机器学习建立的模型能够在一定程度上调节行为，这是以前的模型所不可能做到的，这引起了人们对模型中的表征是否能捕捉到大脑中发生的事情的兴趣。”

当神经网络执行一项任务时，它的处理单元会生成激活模式，以响应它接收到的每个音频输入，比如一个单词或其他类型的声音。这些输入的模型表示可以与fMRI大脑扫描中听到相同输入的人的激活模式进行比较。

2018年，麦克德莫特和当时的研究生亚历山大·凯尔(Alexander Kell)报告说，当他们训练一个神经网络来执行听觉任务(比如从音频信号中识别单词)时，该模型产生的内部表征与听相同声音的人的fMRI扫描结果相似。

从那时起，这些类型的模型被广泛使用，所以麦克德莫特的研究小组开始评估一组更大的模型，看看这些模型是否有能力近似人类大脑中的神经表征。

在这项研究中，研究人员分析了9个公开可用的深度神经网络模型，这些模型经过训练可以执行听觉任务，他们还基于两种不同的架构创建了14个自己的模型。这些模型中的大多数被训练来执行单一任务——识别单词、识别说话者、识别环境声音和识别音乐类型——而其中两个被训练来执行多个任务。

当研究人员用人类功能磁共振成像实验中用作刺激的自然声音呈现这些模型时，他们发现内部模型的表征倾向于与人类大脑产生的表征相似。那些表征与大脑中看到的最相似的模型是那些接受过不止一项任务训练的模型，它们接受过包括背景噪音在内的听觉输入训练。

费瑟说:“如果你在噪音中训练模型，它们给出的大脑预测会比你不这样做的时候更好，这在直觉上是合理的，因为很多现实世界的听力都涉及到在噪音中听到声音，这似乎是听觉系统所适应的。”

分层处理

这项新研究还支持了人类听觉皮层具有一定程度的分层组织的观点，在这种组织中，处理过程被分成支持不同计算功能的阶段。与2018年的研究一样，研究人员发现，在模型的早期阶段产生的表征与初级听觉皮层中看到的表征最为相似，而在模型的后期阶段产生的表征更接近于初级皮层以外的大脑区域产生的表征。

此外，研究人员还发现，接受过不同任务训练的模型在模仿试听的不同方面表现得更好。例如，在语音相关任务上训练的模型更接近于语音选择区域。

塔库特说:“即使模型看到了完全相同的训练数据和架构，当你对一个特定的任务进行优化时，你可以看到它有选择地解释了大脑中特定的调谐特性。”

麦克德莫特的实验室现在计划利用他们的发现，尝试开发在复制人类大脑反应方面更成功的模型。除了帮助科学家更多地了解大脑是如何组织的，这些模型还可以用来帮助开发更好的助听器、人工耳蜗和脑机接口。

“我们这个领域的一个目标是最终建立一个可以预测大脑反应和行为的计算机模型。我们认为，如果我们成功地实现了这一目标，它将打开许多大门，”麦克德莫特说。

该研究由美国国立卫生研究院、科学中心的亚马逊奖学金、美国大学妇女协会的国际博士奖学金、麻省理工学院麦戈文研究所之友奖学金、麻省理工学院K. Lisa Yang综合计算神经科学(ICoN)中心的奖学金和能源部计算科学研究生奖学金资助。

作者：Anne Trafton | MIT新闻

链接：https://news.mit.edu/2023/deep-neural-nets-show-promise-models-of-human-hearing-1213

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

声明：海森大数据刊发或者转载此文只是出于传递、分享更多信息之目的，并不意味认同其观点或证实其描述。若有来源标注错误或侵犯了您的合法权益，请作者与本网联系，我们将及时更正、删除，谢谢。电话：15264513609，邮箱：1027830374@qq.com