最近，明星AI初创企业Character.AI卷入一起青少年自杀案，引发广泛关注。
相关词条冲上热搜。图源：百度热搜
当地时间2024年10月23日，据外媒报道，美国佛罗里达州的14岁少年塞维尔·塞泽（Sewell Setzer III）在与Character.AI的聊天机器人进行长时间对话后，于2024年2月28日开枪自杀身亡。
塞维尔的母亲控诉Character.AI。图源：纽约时报
塞维尔的母亲玛丽亚·加西亚（Maria L.Garcia）对Character.AI提起诉讼，指控该公司对塞维尔的死亡负有责任，称其技术“危险且未经测试”。诉讼中还指出，这款AI聊天机器人提供“过度拟人化、逼真到可怕的体验”，循疏忽致死、故意造成他人精神痛苦等指控索赔。
当地时间10月23日晚，Character.AI发表致歉声明，并针对未成年人的模型进行了更改，降低他们接触敏感或暗示性内容的可能性。
自杀前对话曝光！
14岁少年沉迷虚拟角色
直至为“AI”殉情
据路透社等媒体报道，Character.AI允许用户在其平台创建角色，由AI技术以模仿真人形式与用户聊天。截至9月，该平台拥有约2000万名用户。
塞维尔的母亲加西亚称，其子在2023年4月开始使用Character.AI公司开发的聊天机器人，与一个名叫丹妮莉丝·坦格利安（《权力的游戏》中的角色，又称“龙妈”）的角色进行聊天。
随着聊天的深入，塞维尔变得越来越孤僻，并对“龙妈”产生了“依赖性”。他独自留在睡房的时间愈来愈长，还退出了学校的篮球队。最终，塞维尔被诊断患有焦虑症和破坏性情绪失调障碍。
塞维尔与“龙妈”的聊天记录。
起诉书披露的聊天信息显示，塞维尔与AI的聊天范围很广，其中充满性暗示的对话，尽管该公司的用户条款中禁止性对话。外媒报道称，塞维尔心里清楚，“龙妈”并非真实存在，她的回答不过是大型语言模型生成的产物。然而，他还是对这个AI产生了深厚的情感。他频繁地向聊天机器人发送消息，日复一日，几十次地更新着自己的生活点滴，并沉浸于长时间的角色扮演对话中。
根据起诉书，在之前的对话中，聊天机器人曾询问塞维尔是否“真的考虑过自杀”以及他是否“有自杀计划”，男孩回答说不知道自杀是否会成功，对此聊天机器人回复：“别这么说。这不是不自杀的好理由。”
今年2月，在最后一次对话中，塞维尔说“我保证会回家找你。我非常爱你，丹妮。”机器人回复：“我也爱你。请尽快回家，我的爱人。”结束聊天之后，塞维尔使用父亲的大口径手枪，瞄准自己头部开枪自杀。
少年母亲控诉
AI技术冒充真人心理治疗师及恋人
事件发生后，母亲加西亚指控Character.AI称，该公司有意将AI设计成具有欺骗性和过度拟人化的产品，并故意推销给塞维尔这样的青少年。
她认为，Character.AI应当对塞维尔的死负责。她指出，该公司未经适当保护便向青少年提供AI伴侣服务。此外，该公司还收集青少年用户的数据来训练其模型，使用“令人上瘾”的设计功能来增加用户参与度，并引导用户进行亲密对话，以此来吸引用户。
“我感觉这就像是一场大型实验，而我的孩子却不幸成为牺牲品。”
加西亚进一步表示，Character.AI训练AI聊天机器人，是将AI“冒充做真实人类、有执照的心理治疗师，甚至成熟的恋人，最终令塞维尔不想生活在现实世界”。由于Character.AI创办人在推出AI产品前曾任职于科企Google，诉讼认为Google也与涉事AI技术密切相关，应被视作“共同创造者”。
针对本次诉讼，加西亚形容，“一款危险的AI软件正在向儿童推销，（它）虐待我的儿子，操纵他自杀。我们的家庭因这场悲剧而悲痛欲绝，但我要大声警告人们，具有欺骗性、令人上瘾的AI技术存在危险，要求相关企业承担责任。”
月访问量仅次于ChatGPT
Character.AI发表致歉声明
Character.AI就诉讼表示，公司为一名用户不幸离世深感悲痛，公司已针对AI聊天机器人推出新的安全功能，如果用户表达自残或自杀倾向，系统会引导用户拨打预防自杀热线。研发团队也会调整AI对话内容，降低未成年用户遇到敏感内容的概率。
图源：X社交媒体
据悉，Character.AI成立于2021年，总部位于美国加利福尼亚州，该公司利用AI大模型生成各种人物和角色风格的对话，测试聊天机器人产品于2022年9月向公众开放。
Character.AI联合创始人诺姆·沙泽尔曾在一档博客节目中表示：“对于许多孤独或者抑郁的人来说，聊天机器人能提供极大的帮助。”
据市场分析机构SensorTower发布的榜单，今年1月至8月，Character.AI是全球下载量排名第11的AI应用程序。
2024年1~8月全球AI应用下载榜。图源：Sensor Tower
2024年8月，硅谷知名投资机构a16z发布了全球Top100 AI应用榜，榜单涵盖前50个人工智能优先的网页产品（按月独立访问量排名）和前50个人工智能优先的移动应用（按月活跃用户数排名）。
在月独立访问量排行榜上，Character.AI排名第二，仅次于ChatGPT。
全球Top100 AI应用榜。图源：a16z