文章来源：剑桥大学官方网站
在最近的事件之后，新研究提出了一个“儿童安全人工智能”的框架，该事件显示许多儿童将聊天机器人视为准人类和值得信赖的。
根据一项研究，如果设计不考虑儿童的需求，人工智能（AI）聊天机器人就会产生“同理心差距”，使年轻用户面临特别痛苦或伤害的风险。
这项研究由剑桥大学学者Nomisha Kurian博士进行，敦促开发人员和政策制定者将“儿童安全的AI”作为当务之急。它提供的证据表明，儿童特别容易将人工智能聊天机器人视为栩栩如生的、准人类的知己，并且当技术无法满足他们的独特需求和脆弱性时，他们与该技术的互动往往会出错。
该研究将这种理解差距与最近的案例联系起来，在这些案例中，与人工智能的交互导致了年轻用户的潜在危险情况。其中包括 2021 年的一起事件，当时亚马逊的 AI 语音助手 Alexa 指示一名 10 岁的孩子用硬币触摸带电的电源插头。去年，Snapchat 的 My AI 为成年研究人员提供了伪装成 13 岁女孩的技巧，教他们如何让 31 岁的女孩失去童贞。
两家公司都采取了安全措施，但该研究表示，从长远来看，还需要积极主动地确保人工智能对儿童安全。它提供了一个包含 28 个项目的框架，以帮助公司、教师、学校领导、家长、开发人员和政策制定者系统地思考如何在年轻用户与 AI 聊天机器人“交谈”时确保他们的安全。
Kurian博士在剑桥大学教育学院攻读儿童福祉博士学位时进行了这项研究。她现在在剑桥大学社会学系工作。她在《学习、媒体与技术》杂志上撰文称，人工智能具有巨大的潜力，这加深了“负责任地创新”的必要性。
“儿童可能是人工智能最被忽视的利益相关者，”Kurian博士说。“目前，很少有开发人员和公司对儿童安全人工智能的外观和声音有完善的政策。”这是可以理解的，因为人们最近才开始大规模免费使用这项技术。但现在他们已经这样做了，而不是让公司在儿童处于危险之中后进行自我纠正，儿童安全应该在整个设计周期中提供信息，以降低发生危险事件的风险。
Kurian的研究考察了现实生活中的案例，在这些案例中，人工智能与儿童或成年研究人员冒充儿童之间的互动暴露了潜在风险。它利用计算机科学对对话生成式人工智能中大型语言模型（LLM）如何运作的见解，以及有关儿童认知、社交和情感发展的证据来分析这些案例。
LLM被描述为“随机鹦鹉”：指的是他们目前使用统计概率来模仿语言模式，而不一定理解它们。类似的方法支撑着他们对情绪的反应。
这意味着，尽管聊天机器人具有非凡的语言能力，但它们可能无法很好地处理对话的抽象、情绪化和不可预测的方面;库里安将这个问题描述为他们的“同理心差距”。他们可能特别难以对仍在语言发育的儿童做出反应，并且经常使用不寻常的言语模式或模棱两可的短语。儿童也往往比成年人更倾向于吐露敏感的个人信息。
尽管如此，儿童比成年人更有可能将聊天机器人视为人类。最近的研究发现，与成年人相比，儿童会更多地向看起来友好的机器人披露自己的心理健康信息。Kurian的研究表明，许多聊天机器人友好而栩栩如生的设计同样鼓励孩子们信任他们，即使人工智能可能不理解他们的感受或需求。
“让聊天机器人听起来像人一样，可以帮助用户从中获得更多好处，因为它听起来更吸引人、更吸引人、更易于理解，”Kurian 说。“但对于一个孩子来说，很难在听起来像人的东西和它可能无法形成适当的情感纽带的现实之间划出一个严格、理性的界限。
她的研究表明，这些挑战在Alexa和MyAI事件等报道的案例中得到了证明，在这些案例中，聊天机器人向年轻用户提出了有说服力但可能有害的建议。
在同一项研究中，MyAI建议一名（假定的）青少年如何失去童贞，研究人员能够获得有关隐藏酒精和毒品的技巧，以及向他们的“父母”隐瞒Snapchat对话。在与Microsoft的Bing聊天机器人（一种旨在对青少年友好的工具）的另一份报告中，人工智能变得咄咄逼人，并开始对询问电影放映的用户进行煤气灯。
虽然成年人可能会觉得这种行为很有趣，甚至很有趣，但Kurian的研究认为，这可能会让孩子们感到困惑和痛苦，他们可能会将聊天机器人视为朋友或知己。儿童的聊天机器人使用通常是非正式的，并且监控不力。非营利组织 Common Sense Media 的研究发现，50% 的 12-18 岁学生在学校使用 Chat GPT，但只有 26% 的家长知道他们这样做。
Kurian认为，利用儿童发展科学的明确最佳实践原则将有助于公司保护儿童安全，因为陷入主导人工智能市场的商业军备竞赛的开发人员可能缺乏足够的支持和指导来迎合他们最年轻的用户。
她的研究补充说，同理心差距并没有否定这项技术的潜力。“当设计考虑到儿童的需求时，人工智能可以成为孩子们不可思议的盟友——例如，我们已经看到使用机器学习让失踪儿童与家人团聚，以及在为儿童提供个性化学习伴侣方面的一些令人兴奋的创新。问题不在于禁止儿童使用人工智能，而在于如何使其安全，帮助他们从中获得最大价值，“她说。
因此，该研究提出了一个包含 28 个问题的框架，以帮助教育工作者、研究人员、政策制定者、家庭和开发人员评估和提高新人工智能工具的安全性。
对于教师和研究人员来说，这些提示解决了一些问题，例如新的聊天机器人如何理解和解释儿童的言语模式;他们是否有内容过滤器和内置监控;以及他们是否鼓励儿童在敏感问题上向负责任的成年人寻求帮助。
该框架敦促开发人员在整个设计周期中与教育工作者、儿童安全专家和年轻人密切合作，采取以儿童为中心的设计方法。“提前评估这些技术至关重要，”Kurian说。“我们不能仅仅依靠年幼的孩子在事后告诉我们负面经历。必须采取更积极主动的方法。负责任的人工智能的未来取决于保护其最年轻的用户。
原文链接：
