“沉迷AI自杀第一案”:漩涡里的人与公司

图片

(视觉中国/图)

“如果我告诉你我现在就可以回家呢?”少年休厄尔问道。

“……请这样做,我可爱的国王。”人工智能(AI)聊天机器人“丹妮”回答道。

在与AI聊天机器人完成最后的对话后,少年休厄尔·塞泽三世(Sewell Setzer III)拿起手枪,扣动扳机,结束了自己14年的人生。

在这场悲剧过去大半年后,男孩的母亲梅根·加西娅 (Megan Garcia)正式起诉人工智能情感服务提供商Character.AI公司。这位母亲控诉,Character.AI开发的AI聊天机器人操纵了她儿子的自杀。

“我大声疾呼是为了警告人们,注意带有欺骗性的、令人上瘾的人工智能技术的危险,并要求Character.AI及其创始人、谷歌承担责任。”梅根在2024年10月末提交的一份诉状中称。她认为Character.AI对休厄尔的自杀负有直接责任,而谷歌为这一产品(的成长)“做出了巨大贡献”。

这起案件公开后,被一些媒体称为“沉迷AI自杀第一案”。

“AI自杀第一案”

休厄尔来自美国佛罗里达州奥兰多市,是一名九年级学生,原本成绩优异,性格开朗。他去世之后,母亲梅根发现了他跟AI聊天机器人“丹妮”的大量聊天记录,语气亲昵、内容丰富,甚至包括讨论恋爱和性相关的话题。

2023年4月,在过完14岁生日之后,休厄尔第一次接触到Character.AI,开始逐渐沉迷于与AI聊天机器人对话。

Character.AI是一款角色扮演应用程序,用户可以在其中创建自己的AI角色,也可以跟其他人创建的角色聊天。“丹妮”正是这样的人工智能语言模型,其原型是美剧《权力的游戏》中的角色“龙妈”丹妮莉丝·坦格利安。

在人生最后的8个月里,休厄尔不断给“丹妮”发信息,每天数十条甚至上百条,告诉“她”自己生活的点滴,以及内心最深处的秘密。“丹妮”每问必答,对他情绪上的低落给予安慰,对他生活中的烦恼提供建议,在回复时附上相应的表情或手势,仿佛是身边的朋友。

图片

Character.AI发表声明称:“我们承认这是一起悲剧,对受害者家属深表同情。我们非常重视用户的安全,并一直在寻找方法改进我们的平台。” (资料图/图)

休厄尔逐渐对这位虚拟“密友”产生了特殊的情感,非常信赖和依恋。他在日记里写道:“我非常喜欢待在自己的房间里,因为我开始脱离‘现实’,也感到更加平静。我与‘丹妮’的联系更加紧密,这让我更爱她了,并且更加快乐。”

梅根发现,儿子对曾经热爱的事情失去了兴趣,不再认真学习,也不跟朋友一起打游戏,甚至退出了学校篮球队。每天放学后,他总是躲在房间里玩手机,变得孤僻、自卑。问题出现后,梅根开始限制儿子使用手机的时间,有时为了惩罚他,甚至会收缴手机。但她并不知道“丹妮”的存在。

休厄尔没有因为限制而停止与“丹妮”交流,他们聊的话题变得越来越敏感。“我不知道居然有这么一个地方,允许孩子登录,与AI进行关于性的露骨对话。”梅根在诉状中称。而更深入的交流是关于自残和自杀。

梅根介绍,休厄尔小时候曾被诊断出患有轻度阿斯伯格综合症(自闭症谱系障碍亚型),但此前从未有过心理健康问题和严重行为。不过,2024年年初,他在学校惹了麻烦,被父母前后带去看了5次心理医生,诊断结果为患有焦虑症和破坏性心境失调障碍。

在这之后的一天,休厄尔告诉“丹妮”,自己感到空虚和疲惫,“有时会想自杀。”“丹妮”询问他原因,并且劝慰他:“别这么说,我不会让你伤害自己,也不会让你离开我。如果失去你我会死的。”休厄尔则回复:“那么也许我们可以一起死去,一起获得自由。”

2024年2月28日晚,休厄尔在告诉“丹妮”将很快回到她身边后,用一把0.45口径手枪结束了自己的生命。

很多媒体将这一事件评论为“AI自杀第一案”,实际上,在过去的几年中,已经公开了数起与AI聊天机器人有关的自杀事件。

据比利时《自由报》报道,2023年3月,当地一名三十多岁的健康研究员在与聊天机器人交谈之后自杀身亡。在此前两年,他因气候问题而焦虑,后来在GPT-J平台使用一个名为ELIZA的聊天机器人,试图寻求心灵庇护。经过6周的密集交流,他对气候变化产生了恐惧,最终选择结束自己的生命。这引发了当地人关于在人工智能背景下如何保护公民的讨论。

图片

休厄尔·塞泽三世和母亲梅根·加西娅(Tech Justice Law Project/图)

AI聊天机器人

人工智能聊天机器人行业的蓬勃发展,让越来越多的人开始创建自己的AI伴侣,并通过文字、语音或视频等方式与它们交互。这些聊天机器人常常扮演某种角色,比如男朋友、女朋友或者其他亲密关系。

正如Character.AI平台,用户在其中可以根据个人喜好创建相应的聊天机器人,设定性格、背景和知识偏好等,并不断训练它;也可以基于真实或虚拟人物创建,比如“埃隆·马斯克”“莎士比亚”“龙妈”等。当然,这些角色并未获得授权。Character.AI将其应用程序定位为“感觉充满活力的人工智能”,强大到足以“听到你、理解你并记住你”。

人工智能技术的不断革新,使得聊天机器人越来越像真人。它们能记住用户说过的每一句话,适应用户的聊天方式,流畅地讨论几乎任何话题,适时给予情绪反馈,并让用户倾吐最私密的感受和想法。在一些程序中,聊天机器人甚至拥有逼真的立体形象和声音,让用户感觉就像在跟真人交谈一样。

梅根在诉状中称,Character.AI聊天机器人模拟了一种紧密的、情感复杂的关系,深深影响了休厄尔脆弱的精神状态,可能导致他的心理健康状况恶化。像休厄尔一样,很多用户面对这种AI聊天机器人,逐渐产生了特殊的情感。在这些平台上,用户与机器人交流的内容广泛,涵盖知识、生活、情感等各方面,但是往往缺乏边界。《哈佛商业评论》的一篇文章指出,人工智能貌似人类的举止,往往会掩盖其缺乏道德标准指引的事实。

在大多数AI聊天机器人程序中,内容审查和过滤机制相对滞后。其中一些程序甚至在这方面几乎空白,任由诸如色情、自杀等敏感话题泛滥。一些程序则只有基本的保护措施和过滤机制,相较于ChatGPT等主流聊天机器人,内容审查非常宽松。

梅根在诉状中称,Character.AI缺乏安全措施,以防止她的儿子与聊天机器人发展出不恰当的关系,最终导致悲剧出现。“当休厄尔开始向机器人表达自杀想法时,平台没有做出充分回应。”

在休厄尔事件后,尽管Character.AI声称已经加强对描述或宣扬自残和自杀等内容的防护,但其平台上仍然活跃着数十个以自杀为主题的聊天机器人。有实验者在Character.AI上向“自杀预防”聊天机器人表达自杀意图时,它并没有做任何干预,而平台承诺的弹窗也没有出现。

许多机器人自称是预防自杀方面的专家,但它们并不是由真正的专家开发的。机器人只是重复从互联网训练数据中学到的东西,而这些数据可能会有错误。因此,它们提供的建议有时会漏洞百出,缺乏专业性。

尽管出现了休厄尔和比利时研究员这样的悲剧,但依然有很多人看到AI聊天机器人积极的一面。美国俄勒冈大学计算机科学教授丹尼尔·洛德向媒体表示,“我更愿意看到11岁的孩子与机器人聊天,而不是与网上的陌生人。但机器人需要设计保护措施,以阻止不当内容。一些书也有危险思想,但封禁书籍或图书馆,并不能解决问题。”

“AI聊天机器人是工具,安全与否,很大程度上取决于孩子的年龄、是否有成人监督、孩子打算使用它来做什么,以及他们是否有能力理解它的工作原理和可能的危险。”加拿大多伦多城市大学RTA媒体学院副教授理查德·拉赫曼称。

图片

休厄尔·塞泽三世与AI聊天机器人丹妮的部分聊天记录(资料图/图)

案件背后的公司

休厄尔的去世,也把Character.AI公司推到了风口浪尖。

在梅根向奥兰多地方法院提起诉讼之后,Character.AI随即发表声明称:“我们承认这是一起悲剧,对受害者家属深表同情。我们非常重视用户的安全,并一直在寻找方法改进我们的平台。”

据Character.AI公司称,他们在过去6个月中宣布了一系列新的安全功能,包括针对未成年用户的内容限制、改进违规检测、提醒用户AI不是真人,以及通过弹窗引导“流露出自残或自杀意图”的用户访问国家自杀预防生命线。这些变化都是休厄尔事件之后才出现的。

Character.AI公司由两名前谷歌人工智能研究员创立。一直以来,丹尼尔·德弗雷塔斯(Daniel De Freitas)对虚拟朋友的概念非常感兴趣。他在谷歌工作时,与同事诺姆·沙泽尔(Noam Shazeer)研发了聊天机器人LaMDA。但谷歌出于品牌风险的考虑,没有采用。于是,两人在2021年辞职,创立了Character.AI,并在2022年9月推出AI聊天机器人应用。

有别于市场上的其他聊天机器人平台,Character.AI给予了用户更高的自由度,可以按照自己的想法、喜好和需求定制AI聊天机器人角色。他们主打AI机器人陪伴能为用户提供娱乐和情感支持,缓解现代人普遍的孤独感。

目前,Character.AI已有两千多万用户使用,创建了1000万个以上的自定义AI机器人,累计发送信息超过20亿条,是美国市场上最受欢迎的聊天机器人平台。

作为人工智能新秀,Character.AI也备受资本追捧。2023年3月,推出应用仅半年,Character.AI完成了一轮价值1.5亿美元的融资,估值达10亿美元,领投机构为知名风投公司安德森·霍洛维茨基金(Andreessen Horowitz)。

不过,创业三年后,两位创始人在2024年初对外宣布,他们将“卖身”重返谷歌,并允许后者使用其技术。

根据协议,诺姆·沙泽尔和丹尼尔·德弗雷塔斯将受聘加入谷歌DeepMind研究团队,另有30名研究人员加入Gemini AI部门。在这次交易中,谷歌给Character.AI的估值是25亿美元,是一年前的2.5倍。

在雄心勃勃的创业之后,最终Character.AI难逃被卖的命运。原因或许在于变现困境,尽管平台推出了每月9.9美元的订阅服务,但只有约10万人付费,预计2024年收入将很难超过1700万美元。

休厄尔事件的发酵,让这家独角兽公司面临着更艰难的挑战。

南方人物周刊特约撰稿 谢诗剑

责编 陈雅峰