为了在世界上通行,我们的大脑必须对我们周围的物理世界形成一种直观的理解,然后我们用它来解释进入大脑的感官信息。
大脑是如何发展这种直觉理解的?许多科学家认为,它可能使用了一种类似于quot;自我监督学习”的过程。这种类型的机器学习最初是作为一种为计算机视觉创建更有效模型的方式而开发的,它允许计算模型仅根据它们之间的相似性和差异性来学习视觉场景,而不需要标签或其他信息。
麻省理工学院K. Lisa Yang综合计算神经科学(ICoN)中心的研究人员的两项研究提供了支持这一假设的新证据。研究人员发现,当他们使用一种特殊类型的自我监督学习训练被称为神经网络的模型时,所产生的模型产生的活动模式与执行与模型相同任务的动物大脑中的活动模式非常相似。
研究人员说,研究结果表明,这些模型能够学习物理世界的表征,并据此对物理世界中将要发生的事情做出准确的预测,哺乳动物的大脑可能也在使用同样的策略。
ICoN中心的博士后阿兰·纳伊比(Aran Nayebi)说:quot;我们工作的主题是,人工智能旨在帮助制造更好的机器人,最终也成为一个框架,可以更好地理解大脑。”quot;我们还不能说这是否适用于整个大脑,但在不同的尺度和不同的大脑区域,我们的结果似乎暗示了一种组织原则。”
Nayebi是其中一项研究的主要作者,与前麻省理工学院博士后、现就职于Meta Reality实验室的Rishi Rajalingham,以及大脑和认知科学副教授、麦戈文大脑研究所(McGovern Institute for brain Research)成员Mehrdad Jazayeri共同撰写了这项研究;以及脑与认知科学助理教授、麦戈文研究所副成员罗伯特·杨(Robert Yang)。ICoN中心主任、脑与认知科学教授、麦戈文研究所(McGovern Institute)副成员伊拉·菲特(Ila Fiete)是另一项研究的资深作者,该研究由麻省理工学院研究生米凯尔·科纳(Mikail Khona)和前麻省理工学院高级研究员赖兰·谢弗(Rylan Schaeffer)共同领导。
这两项研究将于12月在2023年神经信息处理系统会议(NeurIPS)上发表。
物理世界建模
早期的计算机视觉模型主要依赖于监督学习。使用这种方法,模型被训练来对每个标记有名字的图像进行分类——猫、车等。最终的模型工作得很好,但这种类型的训练需要大量的人工标记数据。
为了创造一个更有效的替代方案,近年来,研究人员转向了通过一种被称为对比自监督学习的技术建立的模型。这种类型的学习允许算法在不提供外部标签的情况下,根据它们彼此的相似度来学习对对象进行分类。
quot;这是一个非常强大的方法,因为你现在可以利用非常大的现代数据集,尤其是视频,并真正释放它们的潜力,”Nayebi说。quot;你现在看到的许多现代人工智能,尤其是过去几年的ChatGPT和GPT-4,都是在大规模数据集上训练自我监督目标函数,以获得非常灵活的表示的结果。”
这些类型的模型,也被称为神经网络,由成千上万个相互连接的处理单元组成。每个节点与网络中其他节点的连接强度各不相同。当网络分析大量数据时,这些连接的强度会随着网络学习执行所需任务而变化。
当模型执行特定任务时,可以测量网络中不同单元的活动模式。每个单元的活动可以表示为一个放电模式,类似于大脑中神经元的放电模式。Nayebi和其他人之前的研究表明,自我监督的视觉模型产生的活动类似于哺乳动物大脑的视觉处理系统。
在两项新的NeurIPS研究中,研究人员着手探索其他认知功能的自我监督计算模型是否也可能显示出与哺乳动物大脑的相似之处。在Nayebi领导的这项研究中,研究人员训练了自我监督模型,通过数十万个描绘日常场景的自然主义视频来预测环境的未来状态。
quot;在过去十年左右的时间里,在认知神经科学中建立神经网络模型的主要方法是在个体认知任务上训练这些网络。但以这种方式训练的模型很少能推广到其他任务。”quot;在这里,我们测试是否可以通过首先使用自我监督学习对自然数据进行训练,然后在实验室环境中进行评估,来为认知的某些方面建立模型。”
一旦模型被训练好,研究人员就把它推广到一个他们称之为quot;心理乒乓”的任务上。这类似于电子游戏《Pong》,即玩家移动桨去击中在屏幕上移动的球。在《Mental-Pong》版本中,球在击中球拍之前很快就消失了,所以玩家必须估计它的轨迹才能击中球。
研究人员发现,该模型能够追踪隐藏球的轨迹,其准确性与哺乳动物大脑中的神经元相似,这在拉贾林汉姆和贾扎耶里之前的一项研究中已经被证明可以模拟其轨迹——一种被称为quot;心理模拟”的认知现象。此外,在模型中观察到的神经激活模式与动物玩游戏时在大脑中观察到的相似——特别是在大脑的背内侧额叶皮层部分。研究人员说,没有其他类型的计算模型能够像这个模型那样与生物数据如此接近。
贾扎耶里说:quot;机器学习社区在创造人工智能方面做了很多努力。quot;这些模型与神经生物学的相关性取决于它们额外捕捉大脑内部运作的能力。Aran的模型预测神经数据的事实非常重要,因为它表明我们可能正在接近建立模仿自然智能的人工系统。”
环游世界
由Khona, Schaeffer和Fiete领导的这项研究集中在一种被称为网格细胞的特殊神经元上。这些细胞位于内嗅皮层,帮助动物导航,与海马体中的定位细胞一起工作。
当动物处于特定位置时,位置细胞就会激活,而网格细胞只在动物处于三角形晶格的一个顶点时才会激活。网格单元组创建不同大小的重叠网格,这使得它们可以使用相对较少的单元对大量位置进行编码。
在最近的研究中,研究人员训练了监督神经网络,通过根据动物的起点和速度预测动物的下一个位置来模拟网格细胞功能,这一任务被称为路径整合。然而,这些模型依赖于对绝对空间的特权信息的访问,而这些信息是动物没有的。
受到空间多周期网格单元编码的惊人编码特性的启发,麻省理工学院的团队训练了一个对比的自监督模型,既可以执行相同的路径集成任务,又可以在这样做的同时有效地表示空间。对于训练数据,他们使用了速度输入序列。该模型学会了根据位置的相似或不同来区分位置——附近的位置产生相似的代码,但更远的位置产生更多不同的代码。
quot;这类似于图像训练模型,如果两个图像都是猫的头,它们的代码应该是相似的,但如果一个是猫的头,一个是卡车,那么你希望它们的代码相互排斥,”Khona说。quot;我们采用了同样的想法,但将其应用于空间轨迹。”
一旦模型被训练,研究人员发现,模型中节点的激活模式形成了几个不同时期的晶格模式,与大脑中网格细胞形成的模式非常相似。
Fiete说:quot;这项工作让我兴奋的是,它将网格细胞编码的惊人信息理论特性的数学工作与路径整合的计算联系起来。”quot;虽然数学工作是分析性的——网格细胞代码具有什么特性?——通过自我监督学习优化编码效率和获得网格样调谐的方法是综合的:它显示了什么特性可能是必要的,足以解释为什么大脑有网格细胞。”
这项研究由K. Lisa Yang ICoN中心、美国国立卫生研究院、西蒙斯基金会、麦克奈特基金会、麦戈文研究所和海伦·海·惠特尼基金会资助。
作者:麻省理工学院
链接:https://www.sciencedaily.com/releases/2023/10/231030194459.htm
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
声明:海森大数据刊发或者转载此文只是出于传递、分享更多信息之目的,并不意味认同其观点或证实其描述。若有来源标注错误或侵犯了您的合法权益,请作者与本网联系,我们将及时更正、删除,谢谢。电话:15264513609,邮箱:1027830374@qq.com
2023-11-06 12:41:11
麻省理工学院