AI可通过X光片识别种族,但没人知道为什么

医生无法仅通过X光片来判断某人是黑人、亚洲人还是白人。但是,根据麻省理工学院(MIT)和哈佛医学院等的科学家团队的最新研究发现,计算机可以做到。


人类对于某人是黑人、亚洲人还是白人的判断主要来自于某些外貌特征:皮肤、头发、眼睛这类外在体征,医生不能仅仅通过查看某人的X光片就判断出某人是黑人、亚洲人还是白人。但最近,根据麻省理工学院的一项研究,经过训练的人工智能可以有效识别这些没有被标注的X光片的主人,到底是黑人、黄种人还是白人,准确率达到90%以上,即使这些图像是损坏、裁剪和噪声的医学影像,而这一点通常是临床专家无法做到的。

图片

并且,研究者们强调,这一识别结果不是由于某些已知与族裔相关的身体特征关联导致的(例如通过体重指数 [AUC 0·55]、疾病分布 [0·61] 和乳房密度 [ 0·61]等等)。


这一研究结果目前发布在《柳叶刀数字健康(Lancet Digit Health)》上。


“当我的研究生向我展示这篇论文中的一些结果时,我实际上认为这一定是一个错误,”麻省理工学院电气工程和计算机科学助理教授、该论文的合著者Marzyeh Ghassemi说,“当他们告诉我的时候,我真的以为我的学生疯了。”


为了梳理和弄清这一切的神奇的识别系统是如何实现的,研究人员进行了一系列实验。为了研究种族检测的可能机制,他们研究了诸如解剖结构差异、骨密度、图像分辨率等变量。但是,抛开这些变量后,AI仍然具有通过胸部 X 光检测种族的高能力。


在AI软件越来越多地被用来帮助医生做出诊断决定的时候,这项研究提出了一个令人不安的前景,即基于AI的诊断系统可能无意中产生有种族偏见的结果。如AI(可以获得X光片)可以自动为所有黑人患者推荐一个特定的治疗方案,无论它是否对某个特定的人最好。与此同时,病人的人类医生不会知道AI的诊断是基于种族数据的。