这是每个司机的噩梦:一个行人突然出现在汽车前面，只有几分之一秒的时间刹车或转向方向盘，以避免最坏的情况。一些汽车现在有摄像系统，可以提醒司机或启动紧急刹车。但这些系统还不够快或可靠，如果要在无人驾驶的自动驾驶汽车上使用，它们还需要大幅改进。

更快的检测使用更少的计算能力

现在，来自苏黎世大学信息系的Daniel Gehrig和Davide Scaramuzza将一种新型生物启发相机与人工智能相结合，开发出一种系统，可以比现有系统更快地检测汽车周围的障碍物，并且使用更少的计算能力。这项研究发表在本周的《自然》杂志上。

目前大多数相机都是基于帧的，这意味着它们会定期拍照。目前用于汽车驾驶辅助的那些通常每秒捕捉30到50帧，人工神经网络可以被训练来识别图像中的物体——行人、自行车和其他汽车。“但如果在两次快照之间的20或30毫秒发生了什么，相机可能发现得太晚了。解决方案是提高帧率，但这意味着需要实时处理更多的数据和更多的计算能力，”该论文的第一作者丹尼尔·格里格说。

将两种相机类型的优点与AI相结合

事件相机是最近基于不同原理的一项创新。它们没有固定的帧率，而是有智能像素，每次检测到快速运动时都会记录信息。“通过这种方式，它们在帧之间没有盲点，这使它们能够更快地检测到障碍物。它们也被称为神经形态相机，因为它们模仿了人眼感知图像的方式，”机器人和感知小组负责人戴维德·斯卡拉姆扎说。但它们也有自己的缺点:它们可能会错过移动缓慢的物体，而且它们的图像不容易转换成用于训练人工智能算法的数据。

Gehrig和Scaramuzza想出了一个混合系统，它结合了两者的优点:它包括一个每秒收集20张图像的标准相机，与目前使用的相机相比，帧率相对较低。它的图像由一个被称为卷积神经网络的人工智能系统处理，该系统经过训练可以识别汽车或行人。来自事件摄像机的数据与另一种类型的人工智能系统相关联，称为异步图形神经网络，特别适合分析随时间变化的3d数据。事件相机的检测用于预测标准相机的检测，并提高其性能。Daniel Gehrig说:“结果是一个视觉探测器，它可以像每秒拍摄5000张图像的标准相机一样快速地检测物体，但需要与每秒50帧的标准相机相同的带宽。”

用更少的数据进行100倍的检测

该团队将他们的系统与目前汽车市场上最好的摄像头和视觉算法进行了测试，发现它的检测速度提高了一百倍，同时减少了摄像头和车载计算机之间必须传输的数据量，以及在不影响准确性的情况下处理图像所需的计算能力。至关重要的是，该系统可以有效地检测到在标准摄像头的两个后续帧之间进入视野的汽车和行人，为驾驶员和交通参与者提供额外的安全保障——这可以带来巨大的不同，尤其是在高速行驶时。

据科学家称，通过将摄像头与激光雷达传感器集成在一起，这种方法在未来可能会变得更加强大，就像自动驾驶汽车上使用的那样。“像这样的混合动力系统对于实现自动驾驶至关重要，在保证安全的同时不会导致数据和计算能力的大幅增长，”Davide Scaramuzza说。

作者：苏黎世大学

链接：https://www.sciencedaily.com/releases/2024/05/240529144230.htm

著作权归作者所有。

声明：海森大数据刊发或者转载此文只是出于传递、分享更多信息之目的，并不意味认同其观点或证实其描述。若有来源标注错误或侵犯了您的合法权益，请作者与本网联系，我们将及时更正、删除，谢谢。电话：152 6451 3609，邮箱：1027830374@qq.com