普渡大学的工程师们发现，自动驾驶汽车(AV)可以在ChatGPT或其他聊天机器人的帮助下做到这一点，这些聊天机器人是由被称为大型语言模型的人工智能算法实现的。

这项研究将于9月25日在第27届IEEE智能交通系统国际会议上发表，可能是第一批测试真正的自动驾驶汽车如何使用大型语言模型来解释乘客的命令并相应地驾驶的实验之一。

领导这项研究的普渡大学莱尔斯土木与建筑工程学院助理教授王子然(Ziran Wang)认为，有一天，为了让车辆完全自动驾驶，它们需要理解乘客的一切指令，即使是隐含的指令。例如，当你说你很着急时，出租车司机就会知道你需要什么，而不需要你指明司机应该走哪条路来避开交通堵塞。

尽管今天的自动驾驶汽车具有允许你与它们交流的功能，但它们需要你比与人交谈更清晰。相比之下，大型语言模型可以以更像人类的方式解释和给出回应，因为它们经过训练，可以从大量的文本数据中绘制关系，并随着时间的推移不断学习。

他说:“我们汽车上的传统系统都有用户界面设计，你必须按下按钮才能传达你想要的东西，或者一个音频识别系统，要求你说话时非常明确，这样你的汽车才能理解你。”“但大型语言模型的强大之处在于，它们可以更自然地理解你所说的各种事情。我不认为任何其他现有系统可以做到这一点。”

在这项研究中，大型语言模型并没有驾驶自动驾驶汽车。相反，它们利用自动驾驶汽车现有的功能来辅助自动驾驶汽车的驾驶。Wang和他的学生们发现，通过整合这些模型，自动驾驶汽车不仅可以更好地了解乘客，还可以个性化驾驶，以满足乘客的需求。

在开始他们的实验之前，研究人员用提示来训练ChatGPT，从更直接的命令(例如，“请开快点”)到更间接的命令(例如，“我现在有点晕车”)。当ChatGPT学习如何响应这些命令时，研究人员为其提供了大型语言模型参数，要求其考虑交通规则、道路状况、天气以及车辆传感器(如摄像头、光线探测和测距)检测到的其他信息。

然后，研究人员将这些大型语言模型通过云提供给SAE国际定义的四级自动驾驶实验车辆。4级距离业界认为的完全自动驾驶汽车还有一级之遥。

在实验过程中，当车辆的语音识别系统检测到乘客的命令时，云中的大型语言模型就会根据研究人员定义的参数对命令进行推理。然后，这些模型为汽车的线控驾驶系统(与油门、刹车、齿轮和转向系统相连)生成指令，告诉它如何根据指令驾驶。

在一些实验中，王的团队还测试了他们安装在系统中的一个记忆模块，该模块允许大型语言模型存储有关乘客历史偏好的数据，并学习如何将这些数据纳入对命令的响应中。

研究人员在印第安纳州哥伦布市的一个试验场进行了大部分实验，那里曾经是一个机场跑道。这种环境使他们能够安全地测试车辆在跑道上以高速公路速度行驶和处理双向交叉路口时对乘客命令的反应。他们还在普渡大学的罗斯-阿德体育场(Ross-Ade Stadium)的停车场测试了这辆车根据乘客的命令停车的情况。

研究参与者既使用了大型语言模型学过的命令，也使用了在驾驶汽车时新学的命令。根据他们在乘坐后的调查反馈，与人们在没有大型语言模型帮助的情况下乘坐四级自动驾驶汽车时的感受相比，参与者对自动驾驶汽车所做决定的不适感要低得多。

该团队还将自动驾驶汽车的性能与人们认为安全舒适的平均驾驶数据的基线值进行了比较，比如车辆为避免追尾碰撞而允许的反应时间，以及车辆加速和减速的速度。研究人员发现，在这项研究中，当使用大型语言模型进行驾驶时，自动驾驶汽车的表现优于所有基线值，即使是在响应模型尚未学习的命令时。

王说，在这项研究中，大型语言模型平均处理乘客指令的时间为1.6秒，这在非时间紧迫的情况下是可以接受的，但在自动驾驶汽车需要更快响应的情况下，这一速度应该得到改进。这是一个普遍影响大型语言模型的问题，业界和大学研究人员正在解决这个问题。

虽然这不是本研究的重点，但众所周知，像ChatGPT这样的大型语言模型容易产生“幻觉”，这意味着它们可能会误解所学到的东西，并以错误的方式做出反应。王的研究是在一个有故障安全机制的设置中进行的，当大型语言模型误解命令时，参与者可以安全乘坐。在参与者的整个驾驶过程中，这些模型的理解能力有所提高，但在汽车制造商考虑将大型语言模型应用于自动驾驶汽车之前，必须解决幻觉问题。

除了大学研究人员已经进行的研究之外，汽车制造商还需要用大型语言模型进行更多的测试。Wang说，将这些模型与自动驾驶汽车的控制系统集成还需要获得监管部门的批准，这样他们才能真正驾驶汽车。

与此同时，Wang和他的学生们正在继续进行实验，以帮助业界探索将大型语言模型添加到自动驾驶汽车中。

自从他们的研究测试ChatGPT以来，研究人员已经评估了其他基于大型语言模型的公共和私人聊天机器人，例如谷歌的Gemini和Meta的Llama AI助手系列。到目前为止，他们已经看到ChatGPT在自动驾驶汽车的安全和时间效率指标上表现最好。公布的结果即将公布。

下一步是看看是否有可能让每个自动驾驶汽车的大型语言模型相互交流，比如帮助自动驾驶汽车确定在四向停车时哪个应该先走。Wang的实验室还启动了一个项目，研究使用大型视觉模型来帮助自动驾驶汽车在中西部地区常见的极端冬季天气中行驶。这些模型就像大型语言模型，但训练的是图像而不是文本。

作者：普渡大学

链接：https://www.sciencedaily.com/releases/2024/09/240916153501.htm

著作权归作者所有。

声明：海森大数据刊发或者转载此文只是出于传递、分享更多信息之目的，并不意味认同其观点或证实其描述。若有来源标注错误或侵犯了您的合法权益，请作者与本网联系，我们将及时更正、删除，谢谢。电话：152 6451 3609，邮箱：1027830374@qq.com