你的全新家用机器人被送到你家，你让它给你冲杯咖啡。虽然它从之前的模拟厨房实践中掌握了一些基本技能，但它可能采取的动作太多了——打开水龙头、冲马桶、倒面粉容器等等。但有一小部分行动可能是有用的。机器人如何判断在新情况下哪些步骤是明智的?

它可以使用PIGINet，一种旨在有效提高家用机器人解决问题能力的新系统。麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员正在使用机器学习来减少考虑所有可能动作的任务规划的典型迭代过程。PIGINet消除了无法满足无冲突需求的任务计划，并且在仅训练300-500个问题时将计划时间减少了50- 80%。

通常情况下，机器人会尝试各种任务计划，并迭代地改进其动作，直到找到可行的解决方案，这可能既低效又耗时，特别是当存在可移动和铰接的障碍物时。例如，也许在烹饪之后，你想把所有的酱汁都放在橱柜里。这个问题可能需要两到八个步骤，这取决于当时的世界是什么样子。机器人是否需要打开多个柜门，或者柜内是否有障碍物需要重新定位以腾出空间?你肯定不希望你的机器人慢得让人讨厌——如果它在思考的时候把晚餐烧焦了，那就更糟了。

家用机器人通常被认为是按照预定义的方法来执行任务，这并不总是适用于多样化或不断变化的环境。那么，PIGINet如何避免这些预定义的规则呢?PIGINet是一个神经网络，它接受“计划、图像、目标和初始事实”，然后预测任务计划可以改进到可行运动计划的概率。简而言之，它采用了一个变压器编码器，一个多功能和最先进的模型，旨在对数据序列进行操作。在这种情况下，输入序列是关于它正在考虑的任务计划、环境图像以及初始状态和期望目标的符号编码的信息。编码器结合任务计划、图像和文本来生成关于所选任务计划可行性的预测。

为了把东西放在厨房里，团队创造了数百个模拟环境，每个环境都有不同的布局和特定的任务，需要将物体重新排列在柜台、冰箱、橱柜、水槽和烹饪锅之间。通过测量解决问题所需的时间，他们将PIGINet与之前的方法进行了比较。一个正确的任务计划可能包括打开左边的冰箱门，打开锅盖，把卷心菜从锅里搬到冰箱里，把土豆搬到冰箱里，从水槽里拿起瓶子，把瓶子放在水槽里，拿起西红柿，或者把西红柿放进去。PIGINet在更简单的场景中显著减少了80%的计划时间，在更复杂的场景中减少了20% - 50%的计划时间，这些场景具有更长的计划序列和更少的训练数据。

麻省理工学院教授和CSAIL首席研究员Leslie Pack Kaelbling说:“像PIGINet这样的系统，利用数据驱动方法的力量来有效地处理熟悉的案例，但仍然可以依靠“第一原则”规划方法来验证基于学习的建议和解决新问题，提供了两全之优，为各种各样的问题提供了可靠和高效的通用解决方案。”

PIGINet在输入序列中使用多模态嵌入，可以更好地表示和理解复杂的几何关系。利用图像数据帮助模型在不知道物体三维网格的情况下，掌握物体的空间排列和结构，进行精确的碰撞检查，从而在不同环境下快速决策。

PIGINet开发过程中面临的主要挑战之一是缺乏良好的训练数据，因为所有可行和不可行的计划都需要由传统的规划者生成，这首先是缓慢的。然而，通过使用预训练的视觉语言模型和数据增强技巧，该团队能够解决这一挑战，不仅在已知物体的问题上显示了令人印象深刻的计划时间减少，而且对以前未见过的物体也进行了零概率泛化。

“因为每个人的家都不一样，机器人应该是适应性强的问题解决者，而不仅仅是食谱的追随者。我们的关键思想是让通用任务规划器生成候选任务计划，并使用深度学习模型选择有前途的任务计划。其结果是一种更高效、适应性更强、更实用的家用机器人，它甚至可以灵活地在复杂和动态的环境中导航。此外，PIGINet的实际应用并不局限于家庭，”麻省理工学院CSAIL博士生、该研究的主要作者杨竹田说。“我们未来的目标是进一步完善PIGINet，在确定不可行的行动后提出替代任务计划，这将进一步加快可行任务计划的生成，而不需要大数据集从头开始训练通用计划器。我们相信，这将彻底改变机器人在开发过程中的训练方式，然后将其应用到每个人的家中。”

韩国科学技术院(KAIST)人工智能研究生院助理教授Beomjoon Kim博士表示:“这篇论文解决了实现通用机器人的基本挑战:如何从过去的经验中学习，在充满大量铰接和可移动障碍物的非结构化环境中加快决策过程。”这类问题的核心瓶颈是如何确定一个高层次的任务计划，从而存在一个实现高层次计划的低层运动计划。通常情况下，您必须在运动和任务规划之间摇摆，这会导致显著的计算效率低下。竹天的工作通过学习来消除不可行的任务计划来解决这个问题，这是一个有希望的方向。”

杨与NVIDIA研究科学家Caelan Garrett共同撰写了这篇论文，SB ' 15, MEng ' 15, PhD ' 21;麻省理工学院电子工程和计算机科学系教授和CSAIL成员Tomás lozano - psamez和Leslie Kaelbling;以及NVIDIA机器人研究高级总监和华盛顿大学教授迪特·福克斯。该团队得到了新加坡人工智能公司的支持，并得到了国家科学基金会、空军科学研究办公室和陆军研究办公室的资助。这个项目的一部分是在杨在NVIDIA研究院实习期间完成的。他们的研究将于7月在机器人:科学与系统会议上发表。

作者：瑞秋·戈登|麻省理工学院CSAIL

原文链接：https://news.mit.edu/2023/ai-helps-household-robots-cut-planning-time-half-0714

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

声明：海森大数据刊发或者转载此文只是出于传递、分享更多信息之目的，并不意味认同其观点或证实其描述。若有来源标注错误或侵犯了您的合法权益，请作者与本网联系，我们将及时更正、删除，谢谢。电话：15264513609，邮箱：1027830374@qq.com