个性化的深度学习模型可以让人工智能聊天机器人适应理解用户的口音，或者让智能键盘不断更新，根据用户的打字历史更好地预测下一个单词。这种定制需要使用新数据不断微调机器学习模型。

由于智能手机和其他边缘设备缺乏这种微调过程所需的内存和计算能力，用户数据通常被上传到云服务器上，在云服务器上更新模型。但数据传输需要消耗大量能源，将敏感用户数据发送到云服务器会带来安全风险。

来自麻省理工学院、麻省理工学院- ibm沃森人工智能实验室和其他地方的研究人员开发了一种技术，使深度学习模型能够直接在边缘设备上有效地适应新的传感器数据。

他们的设备上训练方法称为PockEngine，可以确定大型机器学习模型的哪些部分需要更新以提高准确性，并且只存储和计算这些特定部分。它在准备模型时执行大部分计算，然后再运行，这样可以最小化计算开销并提高微调过程的速度。

与其他方法相比，PockEngine显著加快了设备上的训练速度，在某些硬件平台上的执行速度提高了15倍。此外，PockEngine并没有导致模型的准确性下降。研究人员还发现，他们的微调方法使一个流行的人工智能聊天机器人能够更准确地回答复杂的问题。

“设备上的微调可以实现更好的隐私、更低的成本、定制能力和终身学习，但这并不容易。所有事情都必须在有限的资源下进行。我们不仅希望能够在边缘设备上进行推理，还希望能够进行训练。有了PockEngine，现在我们可以了，”宋汉说，他是电子工程和计算机科学系(EECS)的副教授，麻省理工学院- ibm沃森人工智能实验室的成员，英伟达的杰出科学家，一篇描述PockEngine的开放获取论文的资深作者。

与韩一起撰写论文的还有第一作者、EECS研究生朱立庚，以及麻省理工学院、麻省理工学院- ibm沃森人工智能实验室和加州大学圣地亚哥分校的其他研究人员。这篇论文最近在IEEE/ACM微架构国际研讨会上发表。

一层一层地

深度学习模型基于神经网络，它由许多相互连接的节点层或“神经元”组成，它们处理数据以做出预测。当模型运行时，一个称为推理的过程，一个数据输入(例如图像)从一层传递到另一层，直到最后输出预测(可能是图像标签)。在推理过程中，每一层处理完输入后不再需要存储。

但在训练和微调过程中，模型经历了一个被称为反向传播的过程。在反向传播中，输出与正确答案进行比较，然后反向运行模型。当模型的输出越来越接近正确答案时，每一层都会被更新。

因为每一层都可能需要更新，所以必须存储整个模型和中间结果，这使得微调比推理需要更多的内存

然而，并不是神经网络中的所有层都对提高准确率很重要。即使对于重要的层，整个层也可能不需要更新。这些层和层的碎片不需要存储。此外，人们可能不需要一直回到第一层来提高准确性——这个过程可以在中间的某个地方停止。

PockEngine利用这些因素来加速微调过程，减少所需的计算量和内存。

该系统首先对某一任务的每一层进行微调，并在每一层之后测量精度的提高。通过这种方式，PockEngine识别每一层的贡献，以及准确性和微调成本之间的权衡，并自动确定需要微调的每一层的百分比。

“与在不同任务和不同神经网络上的完全反向传播相比，这种方法的准确性非常高，”韩补充道。

一个精简的模型

传统的反向传播图是在运行时生成的，这涉及到大量的计算量。相反，PockEngine是在编译期间完成的，而模型正在为部署做准备。

PockEngine删除代码位以删除不必要的层或层块，创建一个在运行时使用的模型的精简图。然后在此图上执行其他优化以进一步提高效率。

由于所有这些只需要执行一次，因此节省了运行时的计算开销。

“这就像开始徒步旅行之前。在家里，你会做仔细的计划——你要走哪条路，哪条路你要忽略。所以在执行的时候，当你真正徒步旅行的时候，你已经有了一个非常仔细的计划。”

当他们将PockEngine应用于不同边缘设备上的深度学习模型时，包括苹果M1芯片和许多智能手机和树莓派电脑中常见的数字信号处理器，它在设备上执行训练的速度提高了15倍，而且准确性没有下降。PockEngine还大幅削减了微调所需的内存量。

该团队还将该技术应用于大型语言模型美洲驼- v2。对于大型语言模型，微调过程涉及提供许多示例，并且模型学习如何与用户交互是至关重要的，韩说。该过程对于负责解决复杂问题或对解决方案进行推理的模型也很重要。

例如，使用PockEngine进行微调的lama- v2模型回答了“迈克尔·杰克逊的最后一张专辑是什么?”，而没有经过微调的模型则会失败。在NVIDIA Jetson Orin(一种边缘GPU平台)上，PockEngine将每次微调过程的迭代时间从大约7秒缩短到不到1秒。

未来，研究人员希望使用PockEngine对更大的模型进行微调，以同时处理文本和图像。

“这项工作解决了在许多不同行业的不同应用中采用大型人工智能模型(如法学硕士)所带来的日益增长的效率挑战。它不仅为包含更大模型的边缘应用程序带来了希望，而且还降低了在云中维护和更新大型人工智能模型的成本，”亚马逊人工智能部门的高级经理Ehry MacRostie说，他没有参与这项研究，但通过麻省理工学院-亚马逊科学中心与麻省理工学院合作进行相关的人工智能研究。

这项工作得到了麻省理工学院- ibm沃森人工智能实验室、麻省理工学院人工智能硬件项目、麻省理工学院-亚马逊科学中心、美国国家科学基金会(NSF)和高通创新奖学金的部分支持。

作者：Adam Zewe b| MIT新闻

链接：https://news.mit.edu/2023/technique-enables-ai-edge-devices-keep-learning-over-time

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

声明：海森大数据刊发或者转载此文只是出于传递、分享更多信息之目的，并不意味认同其观点或证实其描述。若有来源标注错误或侵犯了您的合法权益，请作者与本网联系，我们将及时更正、删除，谢谢。电话：15264513609，邮箱：1027830374@qq.com