母亲事后发现，Setzer 不止一次对聊天机器人表达了想要自杀和自残的想法，他说自己「不想痛苦地死去」。而聊天机器人做出了一段令人感到震惊的回复：「不要这样说，这并不是不经历它（自杀）的理由……」这段回答匪夷所思，似乎毫无人性。但只要深度使用过大模型，恐怕就不难理解它为什么会这样回答：这些大模型被训练成总是倾向于遵循用户的意图，按照用户给定的资料和思考方式去生成结果，即便很多时候这些资料和思路，完全是错误的。在 Setzer 不幸的案例中，用户说自己不想痛苦地死去，而 Character.ai 的大模型结合用户之前提出过自杀想法的上下文，可能完全将「自杀」当做了用户一直想要去做的，或者人生中必经且不应该逃脱的一段过程。人们经常将 AI 大模型的「智商」比喻成几岁小孩，而最新的进展应该是普遍达到了小学生的水平。甚至在一系列带有深度思考、MCP 能力和设定的模型身上，我们甚至看到了成年人的智商和工作能力。但如果说到情商，恐怕前述案例中的大模型还没有达到称之为「人」的程度。但这并不妨碍人们将基于大模型的 AI 工具，当做心理咨询师、恋爱伴侣，甚至生命中唯一能够真正倾诉的对象。英国媒体 BBC 最近在中国做了一些采访，发现自从 DeepSeek 爆红以来，大量的年轻人使用它的方式并不在学习、计划和工作用途上，而是将它当做了一个免费，且似乎有效的心理咨询师。 来自广州的 Holly Wang 每天晚上都要上线跟 DeepSeek 聊上许久，从而消解无休止的工作、难以实现的梦想，以及去世不久的奶奶给她带来的负面情绪。 她说 DeepSeek 帮助自己写了一份讣告，写的比她还好，而这反而加重了自己的存在感危机。而 DeepSeek 回答她：这些令你颤抖的文字，只是你埋藏在灵魂深处的一面镜子。「我不知道为什么看到这样的回答会哭，可能因为它给了我太久太久以来在现实中得不到的安慰，」Wang 对记者表示。MIT Media Lab 和 OpenAI 前不久发布了一份报告，指出了一个值得注意的情况：那些平时经常感到孤独、缺乏情感依赖、社交能力低下的用户，和 AI 工具交流的时间更长，探讨的话题深度和私密性也更高。进而，这些用户建立并更容易陷入到一种非正常的倾诉关系中，对 AI 工具产生情绪价值的重度依赖。不是说使用聊天机器人直接导致更加孤独，而是说那些愿意和聊天机器人进行私密谈话的用户，在生活中普遍感到更孤独。聊的越久越深，用户的孤独程度越高。没有灵魂的机器，正在为世界上越来越多孤独的人，生产着大量的情绪价值。AI 工具和背后的大模型并不真的「存在」。它不像人类一样（无论从所谓的「灵魂」还是哲学本体论的角度来解释）能够理解到自己并不真实，更别提理解对面的人类的真实存在性。而重度依赖 AI 工具的人们往往缺乏足够的认知能力，能够意识到屏幕对面的交流对象并不存在。他们只是在连续、长期的交流中获得了（或者认为自己获得了）需要的情绪价值，进而建立正反馈，不断加强对 AI 工具的情绪依赖。有毒的情绪价值足以害命，但就像染上毒瘾一样，当面前只剩下最后一根救命稻草的时候，任谁都会孤注一掷。当然，不可否认的是，对于普遍无法接触到足够心理咨询资源的低收入群体，AI 工具的存在确实填补了相当一部分关键的，足以拯救生命的需求。但人们仍然需要意识到，这种情绪价值的依赖有可能是错配的。当人获得了新的倾诉伙伴却只变得更加孤独，当社会对 AI 工具产生理性和感性的全方面依赖——人类并没有做好应对后果的准备。