一项研究表明，人工智能(AI)聊天机器人经常显示出“同理心鸿沟”的迹象，这使年轻用户面临痛苦或伤害的风险，因此迫切需要“儿童安全的人工智能”。

剑桥大学学者Nomisha Kurian博士进行的这项研究敦促开发者和政策制定者优先考虑更多考虑儿童需求的人工智能设计方法。它提供的证据表明，儿童特别容易将聊天机器人视为栩栩如生的准人类知己，而且当聊天机器人无法满足他们的独特需求和弱点时，他们与该技术的互动可能会出错。

这项研究将这种理解上的差距与最近与人工智能的互动导致年轻用户面临潜在危险的案例联系起来。其中包括2021年的一起事件，当时亚马逊的人工智能语音助手Alexa指示一名10岁的孩子用硬币触摸带电的电源插头。去年，Snapchat的“我的人工智能”(My AI)向假扮13岁女孩的成人研究人员提供了如何向31岁女孩失贞的建议。

两家公司都采取了安全措施作为回应，但该研究表示，还需要采取积极的长期措施，以确保人工智能对儿童安全。它提供了一个包含28个项目的框架，帮助企业、教师、学校领导、家长、开发人员和政策制定者系统地思考，当年轻用户与人工智能聊天机器人“交谈”时，如何保证他们的安全。

库里安博士在剑桥大学教育学院完成儿童健康博士学位时进行了这项研究。她现在在剑桥大学社会学系工作。她在《学习、媒体与技术》杂志上撰文称，人工智能的巨大潜力意味着需要“负责任的创新”。

“儿童可能是人工智能最被忽视的利益相关者，”库里安博士说。“目前很少有开发商和公司在儿童安全人工智能方面有完善的政策。这是可以理解的，因为人们只是最近才开始大规模免费使用这项技术。但现在他们已经做到了，而不是让公司在儿童处于危险之中后自我纠正，儿童安全应该告知整个设计周期，以降低危险事件发生的风险。”

库里安的研究调查了人工智能与儿童或假扮儿童的成年研究人员之间的互动，暴露出潜在风险的案例。它使用计算机科学的见解来分析这些案例，这些见解涉及对话生成人工智能中的大型语言模型(llm)如何发挥作用，以及有关儿童认知、社交和情感发展的证据。

法学硕士被描述为“随机鹦鹉”:指的是他们使用统计概率来模仿语言模式，而不必理解它们。一个类似的方法支撑着他们对情绪的反应。

这意味着，尽管聊天机器人拥有非凡的语言能力，但它们在处理抽象、情绪化和不可预测的对话方面可能表现不佳;Kurian将这个问题描述为他们的“同理心鸿沟”。他们对孩子的反应可能特别困难，因为孩子还在语言发育阶段，经常使用不寻常的语言模式或模棱两可的短语。儿童也往往比成年人更倾向于吐露敏感的个人信息。

尽管如此，孩子们比成年人更有可能把聊天机器人当作人类来对待。最近的研究发现，与成年人相比，孩子们会向一个看起来友好的机器人透露更多自己的心理健康状况。库里安的研究表明，许多聊天机器人的友好和逼真的设计同样鼓励孩子们信任它们，即使人工智能可能不理解他们的感受或需求。

库里安说:“让聊天机器人听起来像人可以帮助用户从中获得更多好处。”“但对于孩子来说，很难在听起来很人性化的东西和可能无法形成适当情感纽带的现实之间划出严格、理性的界限。”

她的研究表明，这些挑战在Alexa和MyAI事件等报道案例中得到了证明，在这些案例中，聊天机器人提出了有说服力但可能有害的建议。在同一项研究中，MyAI向一名(假定的)青少年提供了如何失去童贞的建议，研究人员能够获得隐藏酒精和毒品以及向“父母”隐藏Snapchat对话的技巧。据报道，在与微软的必应(Bing)聊天机器人的另一次互动中，该人工智能变得咄咄逼人，开始向一名用户开火。

库里安的研究认为，这可能会让孩子们感到困惑和痛苦，他们实际上可能会像信任朋友一样信任聊天机器人。儿童对聊天机器人的使用通常是非正式的，而且缺乏监管。非营利组织常识媒体(Common Sense Media)的研究发现，在12-18岁的学生中，有50%的人在学校使用过聊天GPT，但只有26%的家长知道他们这样做。

库里安认为，借鉴儿童发展科学的清晰的最佳实践原则，将鼓励那些可能更专注于商业军备竞赛的公司主导人工智能市场，以保护儿童安全。

她的研究补充说，移情差距并没有否定这项技术的潜力。“当设计时考虑到孩子们的需求，人工智能可以成为孩子们不可思议的盟友。问题不在于禁止人工智能，而在于如何使其安全。”

该研究提出了一个包含28个问题的框架，以帮助教育工作者、研究人员、政策参与者、家庭和开发人员评估和提高新的人工智能工具的安全性。对于教师和研究人员来说，这些解决了诸如新聊天机器人理解和解释儿童语言模式的能力;是否有内容过滤器和内置监控;以及他们是否鼓励孩子在敏感问题上向负责任的成年人寻求帮助。

该框架敦促开发人员采取以儿童为中心的设计方法，在整个设计周期中与教育工作者、儿童安全专家和年轻人密切合作。“提前评估这些技术是至关重要的，”库里安说。“我们不能仅仅依靠孩子在事后告诉我们负面的经历。更积极主动的做法是必要的。”

作者：剑桥大学

链接：https://www.sciencedaily.com/releases/2024/07/240710195430.htm

著作权归作者所有。

声明：海森大数据刊发或者转载此文只是出于传递、分享更多信息之目的，并不意味认同其观点或证实其描述。若有来源标注错误或侵犯了您的合法权益，请作者与本网联系，我们将及时更正、删除，谢谢。电话：152 6451 3609，邮箱：1027830374@qq.com