剑桥大学的研究人员阐述了设计安全协议的必要性，以防止新兴的 "数字来世产业 "造成社会和心理伤害。

剑桥大学的研究人员指出，如果没有设计安全标准，允许用户与逝去亲人进行文字和语音对话的人工智能就有可能造成心理伤害，甚至以数字方式 "纠缠 "那些留下的人。

死亡机器人 "或 "悲伤机器人 "是一种人工智能聊天机器人，可以利用逝者留下的数字足迹模拟其语言模式和性格特征。一些公司已经在提供这些服务，提供一种全新的 "死后存在"。

剑桥大学勒弗胡尔姆未来智能中心的人工智能伦理学家概述了作为发展中的 "数字死后产业 "的一部分而可能出现的平台的三种设计方案，以说明在他们称之为 "高风险 "的人工智能领域，设计不慎可能造成的后果。

这项发表在《哲学与技术》（Philosophy and Technology）杂志上的研究强调，公司有可能利用 "死亡机器人 "以逝去亲人的方式偷偷向用户宣传产品，或者通过坚称逝去的父母仍然 "与你同在 "来给孩子造成困扰。

当活人在死后注册并被虚拟再造时，由此产生的聊天机器人可能会被公司用来向幸存的家人和朋友发送垃圾邮件，主动提供有关他们所提供服务的通知、提醒和更新--类似于被数字 "死人跟踪"。

研究人员认为，即使那些最初从 "死亡机器人 "那里得到安慰的人，也可能会因为日常互动而感到 "不堪重负的情感负担"，但如果他们已经去世的亲人与数字来世服务公司签订了长期合同，他们也可能无力让人工智能模拟暂停服务。

"这项研究的合著者、剑桥大学勒弗胡尔姆未来智能中心（LCFI）研究员卡塔日娜-诺瓦奇克-巴西斯卡（Katarzyna Nowaczyk-Basińska）博士说："生成式人工智能的飞速发展意味着，几乎任何人只要能上网并掌握一些基本的诀窍，就能让逝去的亲人复活。

"人工智能这一领域是一个道德雷区。重要的是要优先考虑逝者的尊严，并确保这不会被数字来世服务等的经济动机所侵犯。

"同时，一个人可能会留下一个人工智能模拟作为告别礼物，送给那些没有准备好以这种方式处理悲伤的亲人。数据捐赠者和与人工智能来世服务互动者的权利都应得到同等保障。"

现在已经有一些平台提供人工智能重现逝者的服务，但只收取少量费用，例如 "Project December"，一开始是利用 GPT 模型，后来才开发了自己的系统，还有包括 "HereAfter "在内的应用程序。中国也开始出现类似的服务。

新论文中的一个潜在场景是 "MaNana"：一种对话式人工智能服务，允许人们在未经 "数据捐赠者"（已故祖父母）同意的情况下，创建一个模拟已故祖母的死亡机器人。

在假设的场景中，一个成年孙辈最初对这项技术印象深刻并感到欣慰，但在 "高级试用 "结束后，他开始收到广告。例如，聊天机器人以逝者的声音和风格建议订餐服务。

亲属认为他们不尊重祖母的记忆，希望关闭 "死亡机器人"，但这是一种有意义的方式--服务提供商还没有考虑到这一点。

"同样来自剑桥大学LCFI的合著者托马西-霍拉内克（Tomasz Hollanek）博士说："人们可能会与这种模拟产生强烈的情感联系，这将使他们特别容易受到操纵。

"应该考虑让死亡机器人体面退休的方法甚至仪式。例如，这可能意味着一种数字葬礼，或其他类型的仪式，这取决于社会环境。

"我们建议设计协议，防止以不尊重的方式利用死亡机器人，例如用于广告或其他用途。”

霍拉内克和诺瓦奇克-巴西斯卡表示，再创造服务的设计者应在数据捐献者去世前积极征得他们的同意，但他们认为，基于未征得同意的捐献者而禁止死亡机器人是不可行的。

他们建议，在设计过程中应向那些希望 "复活 "亲人的人提出一系列提示，如 "你是否曾与 X 谈论过他们希望被记住的方式？"这样，逝者的尊严就会在死亡机器人的开发中得到重视。   

论文中的另一个场景是一家名为 "Paren't "的想象公司，它强调了一个例子：一位身患绝症的妇女留下了一个死亡机器人，帮助她八岁的儿子度过悲伤的过程。

虽然死亡机器人最初是作为一种治疗辅助工具提供帮助，但随着人工智能适应孩子的需求，它开始产生令人困惑的反应，例如描述即将发生的人际交往。

研究人员建议对死亡机器人进行年龄限制，并呼吁 "有意义的透明"，以确保用户始终意识到他们正在与人工智能互动。这些措施可以类似于目前对可能导致癫痫发作的内容发出的警告。

研究探讨的最后一个场景--一家名为 "Stay "的虚构公司--显示了一个老年人秘密地与自己的死亡机器人建立联系，并支付了二十年的订阅费用，希望它能安慰他们的成年子女，并让他们的孙辈了解他们。

死后，服务开始启动。一个成年子女没有参与，却收到了大量以死去父母的声音发送的电子邮件。另一个成年子女参与了服务，但最终却为死亡机器人的命运而精疲力竭、内疚不已。然而，中止 "死亡机器人 "会违反他们的父母与服务公司签订的合同条款。

"霍拉内克说："至关重要的是，数字来世服务不仅要考虑他们再造的人的权利和同意，还要考虑那些必须与模拟人互动的人的权利和同意。

"这些服务有可能会给人们带来巨大的痛苦，因为他们可能会在不情愿的情况下受到数字鬼魂的纠缠，而这些鬼魂正是他们所失去的那些人的精确到令人震惊的人工智能再现。潜在的心理影响，尤其是在本已艰难的时刻，可能是毁灭性的"。

研究人员呼吁设计团队优先考虑选择退出协议，允许潜在用户以提供情感了结的方式终止与死亡机器人的关系。

诺瓦奇克-巴辛斯卡补充道： “我们现在就需要开始思考如何降低数字永生的社会和心理风险，因为这项技术已经出现了。”

原文链接：https://www.cam.ac.uk/research/news/call-for-safeguards-to-prevent-unwanted-hauntings-by-ai-chatbots-of-dead-loved-ones