在可以识别社交媒体上的朋友和院子里的野花的图像识别软件的背景是神经网络，这是一种受我们大脑处理数据方式启发的人工智能。当神经网络快速处理数据时，它们的结构使得很难追踪对人类来说很明显的错误的起源——比如把匡威高帮鞋和短靴搞混了——限制了它们在更重要的工作中的应用，比如医疗保健图像分析或研究。普渡大学开发的一种新工具使得发现这些错误就像从飞机上看到山顶一样简单。

&#quot;从某种意义上说，如果一个神经网络能够说话，我们就会向你展示它想说什么，”普渡大学理学院计算机科学教授大卫·格里奇(David Gleich)说。他开发了这个工具，并在《自然机器智能》(Nature Machine Intelligence)杂志上发表了一篇论文。&#quot;我们开发的工具可以帮助你找到网络正在说的地方，‘嘿，我需要更多的信息来完成你的要求。我建议人们在任何高风险的神经网络决策场景或图像预测任务中使用这个工具。”

该工具的代码可以在GitHub上获得，还有用例演示。Gleich与普渡大学计算机科学教授Tamal K. Dey和获得计算机科学博士学位的前普渡大学研究生孟Liu合作进行了这项研究。

在测试他们的方法时，格莱奇的团队发现神经网络错误地识别了数据库中从胸部x光片、基因序列到服装的各种图像。在一个例子中，神经网络反复将Imagenette数据库中的汽车图像错误地标记为卡带播放器。的原因吗?这些图片来自网上的销售清单，包括汽车音响设备的标签。

神经网络图像识别系统本质上是一种算法，它以一种模仿神经元在分析和识别图像时的加权放电模式的方式处理数据。一个系统被训练来完成它的任务——比如识别动物、衣服或肿瘤——用一个&#quot;训练集”的图像，其中包括每个像素的数据、标签和其他信息，以及图像在特定类别中的分类身份。使用训练集，网络学习或&#quot;提取”它需要的信息，以便将输入值与类别相匹配。该信息是一串被称为嵌入向量的数字，用于计算图像属于每种可能类别的概率。一般来说，图像的正确身份是在概率最高的类别内。

但嵌入的向量和概率与人类能够识别的决策过程无关。输入100000个代表已知数据的数字，网络产生一个由128个数字组成的嵌入向量，这些数字不对应于物理特征，尽管它们确实使网络有可能对图像进行分类。换句话说，你不能打开一个经过训练的系统的算法的盖子，然后跟着它走。在输入值和图像的预测身份之间是一个众所周知的&#quot;黑盒子”，其中包含多层无法识别的数字。

&#quot;神经网络的问题在于，我们无法看到机器内部，了解它是如何做出决策的，所以我们如何知道神经网络是否犯了一个典型的错误?”Gleich说。

Gleich的方法使计算机在整个数据库中看到的所有图像之间的关系可视化成为可能，而不是试图通过网络追踪任何单个图像的决策路径。把它想象成神经网络组织的所有图像的鸟瞰图。

图像之间的关系(如网络对数据库中每个图像的身份分类的预测)是基于网络生成的嵌入向量和概率。为了提高图像的分辨率，并找到网络无法区分两种不同分类的地方，Gleich的团队首先开发了一种将分类分开和重叠的方法，以识别图像有很大可能属于多个分类的地方。

然后，该团队将这些关系映射到Reeb图上，这是一种来自拓扑数据分析领域的工具。在图上，网络认为相关的每组图像用一个点表示。点按分类用颜色编码。点越近，网络认为组越相似，并且图的大多数区域以单一颜色显示点簇。但是，一组很可能属于多个分类的图像将由两个不同颜色的重叠点表示。只要看一眼，网络无法区分两种分类的区域就会以一种颜色的点簇出现，伴随着第二种颜色的少量重叠点。放大重叠的点会显示一个混乱的区域，就像汽车的图片被标记为汽车和卡带播放器。

&#quot;我们所做的就是从网络中获取这些复杂的信息，并让人们了解网络如何在宏观层面上看待这些数据，”Gleich说。&#quot;Reeb地图代表了重要的东西，大群体以及它们之间的关系，这使得发现错误成为可能。”

《复杂预测的拓扑结构》是在美国国家科学基金会和美国能源部的支持下完成的。

作者：普渡大学

链接：https://www.sciencedaily.com/releases/2023/11/231116141058.htm

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

声明：海森大数据刊发或者转载此文只是出于传递、分享更多信息之目的，并不意味认同其观点或证实其描述。若有来源标注错误或侵犯了您的合法权益，请作者与本网联系，我们将及时更正、删除，谢谢。电话：15264513609，邮箱：1027830374@qq.com