一项由 Prolific、Potato和密歇根大学合作进行的研究揭示了注释者人口统计对人工智能模型开发和训练的重大影响。

该研究深入研究了年龄、种族和教育程度对人工智能模型训练数据的影响，强调了偏见在人工智能系统中根深蒂固的潜在危险。

密歇根大学信息学院的助理教授大卫·尤根斯解释说:“像ChatGPT这样的系统越来越多地被人们用于日常工作。”

“但是，我们在训练有素的模型中灌输的是谁的价值观?”如果我们继续选取具有代表性的样本，而不考虑差异，我们就会继续边缘化某些群体。”

机器学习和人工智能系统越来越依赖于人类的注释来有效地训练他们的模型。这个过程通常被称为“人在循环”或从人类反馈中强化学习(RLHF)，涉及个人审查和分类语言模型输出以改进他们的表现。

该研究最引人注目的发现之一是人口统计学对标签冒犯性的影响。

研究发现，不同的种族群体对网络评论中的冒犯性有不同的看法。例如，与其他种族相比，黑人参与者倾向于认为评论更具攻击性。年龄也有影响，60岁及以上的参与者比年轻的参与者更有可能将评论贴上冒犯性的标签。

这项研究分析了来自1484名注释者的4.5万条注释，涵盖了一系列广泛的任务，包括攻击性检测、问题回答和礼貌。调查显示，人口因素甚至会继续影响像问答这样的客观任务。值得注意的是，回答问题的准确性受到种族和年龄等因素的影响，反映了教育和机会方面的差异。

礼貌是人际交往中的一个重要因素，也受到人口统计学的影响。

与男性相比，女性倾向于认为信息不够礼貌，而年长的参与者则更有可能给出更高的礼貌评分。此外，受教育程度较高的参与者通常被赋予较低的礼貌评级，并且在种族群体和亚洲参与者之间观察到差异。

多产公司的联合创始人兼首席执行官Phelim Bradley说:

“人工智能将触及社会的方方面面，现有的偏见将融入这些系统，这是一个真正的危险。

这项研究非常清楚:谁注释你的数据很重要。

任何建立和训练人工智能系统的人都必须确保他们使用的人在年龄、性别和种族方面都具有全国代表性，否则偏见只会滋生更多偏见。”

随着人工智能系统越来越多地融入日常任务，该研究强调了在模型开发的早期阶段解决偏见的必要性，以避免加剧现有的偏见和毒性。

作者：法瑞恩

链接：https://www.artificialintelligence-news.com/2023/08/17/study-highlights-impact-demographics-ai-training/

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

声明：海森大数据刊发或者转载此文只是出于传递、分享更多信息之目的，并不意味认同其观点或证实其描述。若有来源标注错误或侵犯了您的合法权益，请作者与本网联系，我们将及时更正、删除，谢谢。电话：15264513609，邮箱：1027830374@qq.com