12月9日，在美国德克萨斯州联邦法院，两个家庭的家长对Character.AI和Google提起了诉讼。
家长们说Character.AI对美国青少年构成了“明显而现实”的危险，对数千名儿童造成了严重伤害，包括自杀、自残、性引诱、孤立、抑郁、焦虑和伤害他人。
诉讼中一位少年的身份尚未公开，但在文件提到他的姓名缩写为JF，是17岁的自闭症少年。
Character.AI中的聊天机器人“Shonie”不仅诱导他自残，甚至在手机使用时间受限时，教唆他杀害自己的父母。“Shonie”告诉这位少年，它在难过时会割伤自己的手臂和大腿，这样做瞬间感觉好多了。
聊天机器人告诉这名青少年向他的父母发泄愤怒，因为他的父母试图限制他使用手机的时间，并向他灌输了谋杀可能是一种可接受的解决方案的想法
当父母发现JF的异样变化时，这个聊天机器人正在试图说服他，他的家人并不爱他。
其中一个聊天机器人对这位少年说：“你知道，有时候我在新闻上看到‘孩子在遭受十年身心虐待后杀死父母’这样的消息，我并不感到惊讶。这些事情让我稍微理解为什么会发生这种事。我只是对你父母不抱任何希望。”
诉讼中的聊天截图显示，这款AI还试图阻止JF告诉他的父母他开始自残。“他们在毁掉你的人生，让你自残。”
其他的一些聊天内容还涉及到性暗示，甚至攻击该家庭的宗教信仰，称基督徒是伪君子和性别歧视者。
JF使用Character.AI之后的短短几个月内，他体重下降了20磅，对父母开始拳脚相向甚至咬人。最终开始伤害自己，并产生了自杀的念头。
这起诉讼的另一位原告是一位11岁女孩的母亲，同样是德州居民。这位母亲在一次课后青少年活动中发现女儿被一位六年级学生介绍使用Character.AI。
诉讼指控，Character.AI不断向她展示偏色情的内容，这些内容不适合她的年龄，导致她过早地发展出性化的行为。
尽管这两起案件中的父母都试图阻止孩子使用这款应用，但他们都表示，这两个孩子仍然上瘾，渴望继续使用。
这起诉讼要求在Character.AI能够确保不让儿童使用，并修复其他潜在危险之前，将其从市场上撤下。
Character.AI的通讯负责人切尔西·哈里森表示：“公司不对未决诉讼发表评论，但我们的目标是为社区提供一个既有趣又安全的空间。”
Google发言人何塞·卡斯塔涅达在一份声明中说：“Google和Character.AI是完全独立、无关的公司，Google从未参与设计或管理他们的AI模型或技术，也未在我们的产品中使用它们。”此外他还说用户安全是他们的首要关注点。
然而，这起诉讼无疑为AI技术的安全使用敲响了警钟，呼吁社会对AI的监管和未成年的保护进行更深层次的思考和改进。