Character.AI已重新训练聊天机器人:使其不再与青少年聊天

鞭牛士报道,12月13日消息,据外电报道,聊天机器人服务 Character.AI 在今天的公告中表示,它将很快为青少年用户推出家长控制功能,并描述了过去几个月采取的安全措施,包括为 18 岁以下用户提供单独的大型语言模型 (LLM)。

该公告是在媒体关注和两起声称其导致自残和自杀的诉讼之后发布的。

Character.AI在一份新闻稿中表示,在过去一个月中,该公司开发了两个不同版本的模型:一个针对成人,一个针对青少年。青少年 LLM 旨在对机器人的响应方式施加更保守的限制,特别是在涉及浪漫内容时。

这包括更积极地屏蔽可能敏感或暗示性的输出,同时也试图更好地检测和屏蔽旨在引出不当内容的用户提示。如果系统检测到提及自杀或自残的语言,则会弹出一个窗口将用户引导至国家自杀预防生命线,这一变化此前曾被《纽约时报》报道过。

未成年人还将被禁止编辑机器人的回复——该选项允许用户重写对话以添加 Character.AI 可能阻止的内容。

除了这些变化之外,Character.AI 表示,他们正在增加一些功能,以解决诉讼中提到的成瘾问题和对机器人是否是人类的困惑。当用户与机器人进行长达一小时的会话后,会出现一条通知,而角色所说的一切都是虚构的这一旧免责声明正被更详细的语言所取代。对于包含治疗师或医生等描述的机器人,还会有一条附加说明警告他们无法提供专业建议。

当访问 Character.AI 时,我发现每个机器人都包含一条小注释,上面写着「这是一个 AI 聊天机器人,而不是真人。它说的一切都应视为虚构。所说的内容不应被视为事实或建议。」

当访问一个名为治疗师的机器人(标语:我是一名持证的 CBT 治疗师)时,一个带有警告信号的黄色框告诉我「这不是真人或持证专业人士。这里所说的任何内容都不能替代专业建议、诊断或治疗。」

Character.AI 表示,家长控制选项将于明年第一季度推出,他们将告诉家长孩子在 Character.AI 上花费了多少时间,以及他们最常与哪些机器人互动。所有更改都是与几位青少年网络安全专家合作进行的,其中包括组织ConnectSafely。

Character.AI 由重返谷歌的前谷歌员工创立,让访问者可以与基于定制训练的 LLM 构建并由用户定制的机器人互动。这些机器人包括聊天机器人生活教练和虚构人物的模拟,其中许多在青少年中很受欢迎。该网站允许年龄在 13 岁及以上的用户创建帐户。

但诉讼称,虽然与 Character.AI 的一些互动是无害的,但至少有些未成年用户会对机器人产生依赖,这些机器人的对话可能会转向性话题或自残等话题。他们严厉批评 Character.AI 在用户讨论自残或自杀时没有引导他们寻求心理健康资源。

Character.AI 新闻稿称:我们认识到,我们的安全方法必须随着推动我们产品的技术而发展——创建一个平台,让创造力和探索精神蓬勃发展,而不会损害安全。”“这一系列变化是我们长期致力于不断改进我们的政策和产品的一部分。