通过植入物和人工智能将大脑信号转化为语音

来自内梅亨大学和乌得勒支联合大学的研究人员成功地将大脑信号转化为可听的语言。通过结合植入物和人工智能解码来自大脑的信号,他们能够预测人们想说的话,准确率达到92%到100%。他们的研究结果发表在本月的《神经工程杂志》上。

该研究的主要作者、内梅亨大学(Radboud University)大脑、认知和行为研究所(Donders Institute for Brain, Cognition and behavior)和UMC乌得勒支大学(UMC Utrecht)的研究员朱莉娅·别列祖茨卡娅(Julia Berezutskaya)表示,这项研究表明了脑机接口领域的一个有希望的发展。别列祖茨卡亚和他在UMC乌得勒支和内梅亨大学的同事们在癫痫患者身上植入大脑来推断人们在说什么。

别列祖茨卡娅说:“最终,我们希望将这项技术应用于瘫痪、无法交流的闭锁患者。”“这些人失去了运动肌肉的能力,因此无法说话。通过开发脑机接口,我们可以分析大脑活动,让它们重新发声。”

在他们的新论文中的实验中,研究人员要求未瘫痪的人在测量他们的大脑活动时大声说出一些单词。别列祖茨卡娅:“然后,我们能够在大脑活动和语言之间建立直接映射。我们还使用先进的人工智能模型将大脑活动直接转化为可听的语言。这意味着我们不仅能够猜测人们在说什么,而且我们可以立即将这些单词转换成可理解、可理解的声音。此外,重建后的语音甚至在语调和说话方式上听起来都像原来的说话人。”

世界各地的研究人员都在研究如何识别大脑模式中的单词和句子。研究人员能够用相对较小的数据集重建可理解的语音,这表明他们的模型可以用有限的数据揭示大脑活动和语音之间的复杂映射。至关重要的是,他们还对志愿者进行了听力测试,以评估合成单词的可识别性。这些测试的积极结果表明,该技术不仅在正确识别单词方面取得了成功,而且在让这些单词像真实的声音一样清晰易懂方面也取得了成功。

别列祖茨卡娅警告说,目前仍有许多限制。“在这些实验中,我们要求参与者大声说出12个单词,这些是我们试图检测的单词。”一般来说,预测单个单词比预测整个句子要简单。在未来,人工智能研究中使用的大型语言模型可能是有益的。我们的目标是仅根据人们的大脑活动来预测他们想说的话的完整句子和段落。为了实现这一目标,我们需要更多的实验、更先进的植入物、更大的数据集和先进的人工智能模型。所有这些过程还需要数年时间,但看起来我们正朝着正确的方向前进。”


作者:内梅亨大学

链接:https://www.sciencedaily.com/releases/2023/08/230828130347.htm

著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

声明:海森大数据刊发或者转载此文只是出于传递、分享更多信息之目的,并不意味认同其观点或证实其描述。若有来源标注错误或侵犯了您的合法权益,请作者与本网联系,我们将及时更正、删除,谢谢。电话:15264513609,邮箱:1027830374@qq.com