从自动驾驶汽车到医学图像解读，人工智能工具的应用前景广阔。然而，一项新的研究发现，这些人工智能工具比以前认为的更容易受到有针对性的攻击，这些攻击有效地迫使人工智能系统做出错误的决定。

争论的焦点是所谓的“对抗性攻击”，即有人操纵输入人工智能系统的数据，以迷惑它。例如，有人可能知道在停车标志的特定位置放置特定类型的贴纸可以有效地使AI系统看不到停车标志。

或者黑客可以在x光机上安装代码，改变图像数据，导致人工智能系统做出不准确的诊断。

“在大多数情况下，你可以对停车标志做出各种各样的改变，而一个经过训练来识别停车标志的人工智能仍然会知道这是一个停车标志，”这项新研究的论文合著者、北卡罗来纳州立大学电子和计算机工程副教授吴天福说。

“但是，如果人工智能存在漏洞，而攻击者知道这个漏洞，攻击者可能会利用这个漏洞造成事故。”

吴和他的合作者的新研究重点是确定这些类型的对抗性漏洞在人工智能深度神经网络中有多普遍。

他们发现，这些漏洞比之前认为的要普遍得多。

“更重要的是，我们发现攻击者可以利用这些漏洞迫使人工智能将数据解释为他们想要的任何东西，”吴说。

“这一点非常重要，因为如果一个人工智能系统不能抵御这类攻击，你就不会想把它投入实际使用——尤其是在可能影响人类生活的应用中。”

为了测试深度神经网络对这些对抗性攻击的脆弱性，研究人员开发了一款名为QuadAttacK的软件。该软件可用于测试任何深度神经网络的对抗性漏洞。

“基本上，如果你有一个训练有素的人工智能系统，你用干净的数据测试它，人工智能系统就会像预测的那样表现。QuadAttacK观察这些操作，并了解人工智能如何根据数据做出决策。这使得QuadAttacK可以决定如何操纵数据来欺骗AI。然后QuadAttacK开始向AI系统发送被操纵的数据，看看AI如何回应。如果QuadAttacK发现了一个漏洞，它可以迅速让人工智能看到QuadAttacK想让它看到的任何东西。”

在概念验证测试中，研究人员使用QuadAttacK测试了四个深度神经网络:两个卷积神经网络(ResNet-50和DenseNet-121)和两个视觉变压器(ViT-B和DEiT-S)。之所以选择这四个网络，是因为它们在世界各地的人工智能系统中得到了广泛的应用。

“我们惊讶地发现，这四个网络都非常容易受到对抗性攻击，”吴说。

“让我们特别惊讶的是，我们可以对攻击进行微调，让网络看到我们想让他们看到的东西。”

研究小组已经公开了QuadAttacK，以便研究社区可以自己使用它来测试神经网络的漏洞。

该程序可以在这里找到:https://thomaspaniagua.github.io/quadattack_web/。

“现在我们可以更好地识别这些漏洞，下一步就是找到最小化这些漏洞的方法，”吴说。

“我们已经有了一些潜在的解决方案，但这项工作的结果仍有待公布。”

论文“QuadAttacK:一种学习有序Top-K对抗性攻击的二次规划方法”将于12月11日发表。

在新奥尔良举行的第37届神经信息处理系统会议(NeurIPS 2023)上。该论文的第一作者是北卡罗来纳州立大学的博士生托马斯·帕尼亚瓜。

该论文由北卡罗来纳州立大学的博士生瑞恩·格兰杰(Ryan Grainger)共同撰写。

作者：北卡罗莱纳州立大学

链接：https://www.sciencedaily.com/releases/2023/12/231204135128.htm

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

声明：海森大数据刊发或者转载此文只是出于传递、分享更多信息之目的，并不意味认同其观点或证实其描述。若有来源标注错误或侵犯了您的合法权益，请作者与本网联系，我们将及时更正、删除，谢谢。电话：15264513609，邮箱：1027830374@qq.com