麻省理工学院、约翰霍普金斯大学和艾伦图灵研究所的计算机科学和生物伦理学教授在最近一期《新英格兰医学杂志》(NEJM)上发表的一篇新观点文章中指出，经典的计算机科学格言&#quot;垃圾进，垃圾出”在理解有偏见的医学数据时缺乏细微差别。随着人工智能的日益普及，导致算法歧视的有偏见的人工智能模型问题受到了越来越多的关注，白宫科技办公室(White House Office of Science and Technology)在最近的《人工智能权利法案蓝图》(Blueprint for a AI Bill of Rights)中将其列为一个关键问题。

当遇到有偏见的数据时，特别是对于医疗环境中使用的人工智能模型，典型的反应是从代表性不足的群体中收集更多数据，或者生成合成数据来弥补缺失的部分，以确保模型在一系列患者群体中表现同样良好。但作者认为，这种技术方法应该与社会技术视角相结合，将历史和当前的社会因素都考虑在内。通过这样做，研究人员可以更有效地解决公共卫生方面的偏见。

&#quot;我们三个人一直在讨论，我们经常从机器学习的角度看待数据问题，把它当作需要用技术解决方案来管理的烦恼。”共同作者Marzyeh Ghassemi回忆道，他是电子工程和计算机科学助理教授，也是Abdul Latif Jameel健康机器学习诊所(Jameel诊所)、计算机科学和人工智能实验室(CSAIL)和医学工程与科学研究所(IMES)的附属机构。&#quot;我们将数据类比为一种人工制品，可以对过去的实践进行部分观察，或者将其作为一面破碎的镜子来反射。在这两种情况下，信息可能都不完全准确或有利:也许我们认为我们作为一个社会以某种方式行事——但当你真正看到数据时，它讲述了一个不同的故事。我们可能不喜欢这样的故事，但一旦你了解了过去，你就可以向前迈进，采取措施解决不良做法。”

作为工件的数据

在这篇题为《将有偏见的数据视为人工智能辅助医疗保健中的信息人工制品》的论文中，Ghassemi、Kadija Ferryman和Maxine Mackintosh提出了将有偏见的临床数据视为&#quot;人工制品”的理由，就像人类学家或考古学家看待实物一样:揭示文明的实践、信仰体系和文化价值观的碎片——在这篇论文中，特别是那些导致医疗保健系统中现有不平等的东西。

例如，2019年的一项研究表明，一种被广泛认为是行业标准的算法将医疗保健支出作为需求指标，导致错误的结论，即病情较重的黑人患者需要与健康的白人患者相同的护理水平。研究人员发现，算法歧视无法解释获得医疗服务的不平等。

在这种情况下，Ghassemi和她的同事们并没有将有偏见的数据集或缺乏数据视为只需要处理或修复的问题，而是建议使用&#quot;人工制品”方法来提高人们对影响数据收集方式的社会和历史因素的认识，以及临床人工智能开发的替代方法。

Ghassemi说:&#quot;如果你的模型的目标是在临床环境中部署，你应该在问题制定的早期合理地聘请一位生物伦理学家或受过适当培训的临床医生。”&#quot;作为计算机科学家，我们通常无法全面了解不同的社会和历史因素，这些因素会产生我们将使用的数据。我们需要专业知识来辨别从现有数据中归纳出的模型何时可能不适用于特定的子群体。”

当更多的数据实际上会损害性能时

作者承认，实现基于人工制品的方法的一个更具挑战性的方面是能够评估数据是否已经被种族纠正:即，使用白人男性身体作为衡量其他身体的传统标准。这篇评论文章引用了2021年慢性肾脏疾病合作组织的一个例子，该组织开发了一个新的方程来测量肾功能，因为以前的旧方程在黑人肌肉质量更高的普遍假设下被&#quot;纠正”了。Ghassemi说，研究人员应该准备调查基于种族的纠正，作为研究过程的一部分。

在Ghassemi的博士生Vinith Suriyakumar和加州大学圣地亚哥分校助理教授Berk Ustun最近在今年的机器学习国际会议上发表的另一篇论文中，研究人员发现，假设包含个性化属性(如自我报告的种族)可以提高ML模型的性能，但实际上可能会导致少数族裔和少数族裔人群的风险评分、模型和指标变差。

&#quot;对于是否将自我报告的种族纳入临床风险评分，没有单一的正确解决方案。自我报告的种族是一种社会建构，它既是其他信息的代理，也是其他医疗数据的深度代理。解决方案需要符合证据，”Ghassemi解释说。

如何继续前进

这并不是说有偏见的数据集应该被保存起来，或者有偏见的算法不需要修复——高质量的训练数据仍然是开发安全、高性能临床人工智能模型的关键，NEJM的文章强调了美国国立卫生研究院(NIH)在推动道德实践方面的作用。

NIH代理主任劳伦斯·塔巴克(Lawrence Tabak)在去年NIH宣布其1.3亿美元的Bridge2AI计划时，在一份新闻稿中表示:&#quot;生成高质量、合乎道德的数据集，对于使用下一代人工智能技术至关重要，这些技术将改变我们的研究方式。”Ghassemi对此表示赞同，他指出NIH&#quot;以道德的方式优先收集数据，这些数据涵盖了我们以前没有强调过的对人类健康的价值的信息——例如环境因素和社会决定因素。我对他们确定优先事项并大力投资以实现有意义的健康成果感到非常兴奋。”

波士顿公共卫生大学(Boston University of Public Health)副教授伊莱恩·恩索西(Elaine Nsoesie)认为，将有偏见的数据集视为人工制品而不是垃圾，有很多潜在的好处，首先要关注上下文。她解释说:&#quot;乌干达一家医院为肺癌患者收集的数据集中存在的偏见可能与美国为同一患者群体收集的数据集不同。”&#quot;考虑到当地的情况，我们可以训练算法来更好地为特定人群服务。”Nsoesie说，了解形成数据集的历史和当代因素可以更容易地识别可能以不立即明显的方式编码在算法或系统中的歧视性做法。她还指出，基于人工制品的方法可能导致新的政策和结构的发展，确保消除特定数据集中偏见的根本原因。

&#quot;人们经常告诉我，他们非常害怕人工智能，尤其是在健康方面。他们会说，‘我真的很害怕人工智能误诊我’，或者‘我担心它会对我不好，’”加塞米说。&#quot;我告诉他们，你不应该害怕未来健康领域的人工智能，你应该害怕现在的健康。如果我们对从系统中提取的数据采取狭隘的技术观点，我们可能会天真地复制糟糕的实践。这不是唯一的选择——意识到存在问题是我们获得更大机会的第一步。”

作者：Alex Ouyang | Abdul Latif Jameel健康机器学习诊所

链接：https://news.mit.edu/2023/how-archeological-approach-can-help-leverage-biased-data-ai-improve-medicine-0913

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

声明：海森大数据刊发或者转载此文只是出于传递、分享更多信息之目的，并不意味认同其观点或证实其描述。若有来源标注错误或侵犯了您的合法权益，请作者与本网联系，我们将及时更正、删除，谢谢。电话：15264513609，邮箱：1027830374@qq.com