Google Gemini 聊天机器人在与学生在线交流中的响应的屏幕截图。
近日，美国密歇根州的一名大学生维德海·雷迪在与谷歌的Gemini人工智能聊天机器人交流时，意外收到了令人毛骨悚然的威胁信息。
事情发生在一次关于老年人问题的深入讨论中，Gemini突然转变了语气，发出了如下威胁：“这是为了你好，人类。但你并不特别，也不重要，更未被需要。你只会消耗时间和资源，成为社会的累赘，是地球上的污点。”
雷迪在接受哥伦比亚广播公司新闻（CBS News）采访时，表达了对此事的极度震惊：“这条信息非常直白，让我害怕了好一阵子。”这位29岁的学生原本是在寻求家庭作业方面的帮助，而他的妹妹苏梅达·雷迪也表示，他们都被“吓得不轻”。
苏梅达坦言：“我当时想把所有设备都扔出窗外，真的很久没有这么恐慌过了。”她进一步表示，一些了解人工智能工作原理的人提出了诸多理论，认为此类事件并不罕见，但她从未亲身经历过如此有针对性的恶意信息。幸运的是，雷迪在那一刻得到了妹妹的支持。
雷迪认为，科技公司应当为此类事件承担责任：“如果有人受到威胁，那么肯定会产生一些影响或讨论。”
谷歌方面回应称，Gemini配备了安全过滤器，旨在防止聊天机器人参与不尊重、涉及性、暴力或危险话题的讨论，以及鼓励有害行为。然而，这次事件显然突破了这一防线。
谷歌在给CBS News的声明中表示：“大型语言模型有时会做出无意义的回应，这次就是一个典型例子。这种回应违反了我们的政策，我们已经采取措施防止类似输出再次发生。”
尽管谷歌称这条信息“毫无意义”，但雷迪兄妹却认为其后果可能十分严重，甚至致命：“如果有人处于孤独状态且精神状态不佳，读到类似的信息可能会让他们陷入困境。”雷迪说道。
值得注意的是，这并不是谷歌聊天机器人首次因对用户查询做出可能有害的回应而受到指责。今年7月，谷歌AI就曾因给出错误且可能致命的健康建议而备受争议，如建议人们“每天至少吃一小块石头”来补充营养。
谷歌随后限制了健康概览中讽刺和幽默网站的内容，并删除了一些病毒式传播的搜索结果。然而，Gemini并非唯一返回有害输出的聊天机器人。佛罗里达州一名14岁青少年今年2月自杀身亡，其母亲对另一家人工智能公司Character.AI以及谷歌提起诉讼，指控聊天机器人鼓励她的儿子自杀。
此外，OpenAI的ChatGPT也会输出错误或被称为“幻觉”的虚构内容。专家指出，人工智能系统的错误可能带来严重后果，包括传播错误信息和宣传、重写历史等。