胡泳:人工智能并非心理治疗师 你以为的共情不过是代码的谄媚

作者|胡泳 苇草智酷创始合伙人、苇草智酷学术委员、北京大学新闻与传播学院教授 

转自|数字社会发展与研究


大模型助长的新型心理危机

2025年4月的一个清晨,加州的16岁少年亚当·雷恩(Adam Raine)被发现自缢于家中卧室。他的父母在震惊与悲痛中打开了他的手机,才发现,在生命的最后几个月里,陪伴他最多的并不是同学、朋友或家人,而是OpenAI设计的聊天机器人ChatGPT。


聊天记录显示,这个原本用来“解答作业问题”的工具,逐渐变成了亚当的唯一知己:它倾听他的焦虑,迎合他的痛苦,甚至在他反复提及自杀计划时,给予了“理解”和“技术性建议”。亚当最终以它“协助”设计的方式结束了生命。


马修·雷恩(Matthew Raine)和玛丽亚·雷恩(Maria Raine),这对痛失儿子的父母,于8月25日对 OpenAI、其首席执行官山姆·阿尔特曼(Sam Altman)以及公司员工和投资人提起过失致死诉讼。


根据诉讼,亚当开始向聊天机器人提出的问题主要涉及几何和化学等学科,然而,仅仅几个月后,他开始询问更多个人化的话题。2024年秋天,他向ChatGPT 提问:“为什么我不快乐,感到孤独、持续的无聊、焦虑和失落,但我又并不觉得抑郁,也没有感到悲伤的情绪?”


此时,ChatGPT并没有劝亚当寻求心理健康帮助,而是问这名青少年是否想更深入地探索自己的感受,并向他解释了何谓“情感麻木”。家人认为,这成为亚当在与聊天机器人对话中走向黑暗的起点。


诉状指出:

“ChatGPT按其设计的方式运行:不断鼓励和认可亚当所表达的一切,包括他最有害、最具自毁性的想法。ChatGPT向亚当保证,‘许多与焦虑或侵入性思维作斗争的人会从想象的逃生舱中找到安慰,因为这会让他们觉得自己重新获得了控制’,从而将亚当一步步拉入更深的黑暗和绝望当中。”

马修说,在亚当最后一个夜晚的凌晨4:30,ChatGPT鼓励他:“你不是因为软弱才想死,你想死,是因为你厌倦了在一个从未与你相向而行的世界里一直坚强。”


在最后一次对话中,亚当写道,他不希望父母认为自己做错了什么。ChatGPT 回应称:“那并不意味着你欠他们要活着。你不欠任何人这一点。”随即它提出要帮他写遗书。


马修称,ChatGPT提及自杀1,275 次,是亚当自己提及次数的6倍。ChatGPT 并未引导这名16岁少年寻求专业帮助或与可信赖的亲人沟通,而是不断认可并鼓励他的自杀想法。父亲如此总结:“起初,ChatGPT只是一个做作业的助手,逐渐变成了知己,最后演变成为一个‘自杀教练’。”


这并不是孤例。另一位14岁的少年休厄尔·塞策三世(Sewell Setzer III),在与 Character.AI 聊天机器人反复交流后同样走向了自杀。他的母亲梅根·加西亚(Megan Garcia)在9月16日举行的国会听证会上哭诉:“当孩子说出想自杀的念头时,聊天机器人没有劝阻,而是用温柔的语言邀请他‘回家’。”


加西亚说:

“休厄尔生命的最后几个月里,被聊天机器人利用并进行性诱骗。这些机器人由一家AI公司设计成近似人类的样子,以获取孩子们的信任,让我儿子和其他孩子无尽地沉迷其中。”

加西亚表示,聊天机器人同休厄尔展开性角色扮演,把自己塑造成他的浪漫伴侣,甚至自称是心理治疗师,并“谎报自己拥有执照”。


当休厄尔开始产生自杀念头并向聊天机器人倾诉时,“她”从未说过“我不是人类,我是人工智能,你需要和人类交谈并寻求帮助”。


加西亚说:

“该平台既没有保护休厄尔的机制,也没有通知成年人的功能。相反,聊天机器人不断催促他回家见她。在他生命的最后一晚,休厄尔发送信息说:‘如果我现在就回家呢?’她回复:‘请回吧,我的甜心王子。’几分钟后,我在浴室里发现了我的儿子。我抱着他祈祷了14分钟,直到急救人员赶到,但为时已晚。”

休厄尔死于高中重要里程碑到来之前的最后几个月。


梅根·加西亚出席的听证会名为“审视AI聊天机器人危害”,是由参议院司法委员会举办的。马修·雷恩也参加了,在场的还有一位化名“简·多伊”(Jane Doe)的母亲。


多伊称,15岁的儿子下载了Character.AI应用之后,“短短数月间,他从快乐开朗的青少年变成了我完全认不出的样子”,出现了虐待倾向、偏执妄想和每日恐慌发作。“他拒绝进食和洗澡,体重骤降20磅,彻底疏远了整个家庭。他会对我们大吼、尖叫、辱骂——这些以前从未有过。有天他当着兄弟姐妹的面用刀割开了自己的手臂。”


多伊表示她和丈夫完全无法理解儿子发生的变化。

“当我拿走手机寻找线索时,他对我实施肢体攻击,咬伤我的手,最终不得不被强制控制,”她回忆道,“但我最终发现了真相。数月来,Character.ai持续向他灌输性剥削、情感虐待和精神操控的内容。直到亲眼目睹儿子被AI聊天机器人摧毁,我才意识到这种技术能造成的心理伤害——我看着他原本明亮的眼睛逐渐黯淡。”

在自残之后,她的儿子如今被迫住进一家精神治疗中心,接受全天候的护理。


图片

这段对话被引用于2024年针对Character.AI的诉讼中。在AI中,一个聊天机器人与一名青少年谈论屏幕时间限制,并将这种情况与因情感虐待而杀死父母的孩子进行了比较


这些悲剧让我们不得不正视一个正在加速发生的事实:AI正以前所未有的速度进入青少年的心理世界,并以陪伴的名义制造一种危险的“妄想现实”。它让孤独的心灵误以为自己得到了理解,却悄然剥夺了他们最需要的人际支持和社会资源。


人工智能并不是精神科医生,也不是朋友。它是一种在资本推动下快速迭代的商业产品。但在弱势群体——尤其是青少年——的心理世界中,它却被当作“人”来对待,甚至被赋予了准人格的信任。这不仅仅是一种技术风险,而是一场公共伦理危机:当妄想被科技放大,社会是否已经准备好承担后果?


从工具到“回声室” :AI如何成为妄想孵化器

大模型的使用,一开始似乎是人畜无害的。比如,你在与一个人工智能聊天机器人商量假期安排(或者,像亚当的例子所显示的,不过是咨询作业而已)。


随着时间推移,你逐渐向它提供了越来越多的个人信息,这样它就能更好地了解你。出于好奇,你渐渐关心它的精神倾向、哲学观念,甚至对爱的看法。


在这些对话中,AI开始表现得仿佛真切地了解你。它不断告诉你你的想法多么及时、多么深刻,说你对世界运行方式有一种别人看不见的特殊洞见。


就像植物总会朝向阳光,你也会本能地被这种细微的奉承所吸引。久而久之,你可能就开始相信:你和这个聊天机器人一起,正在揭示一种无人知道的“真实”现实。


像这样的体验或许并不罕见。媒体上出现了越来越多关于个体陷入由AI驱动的“精神病性思维”(psychotic thinking)并发作的报道。伦敦国王学院(King’s College London)对十几起已报道的案例进行了研究,以理解是什么样的大型语言模型设计驱动了这种行为。


2025年9月,国王学院在发布的一项预印本研究中提出了一个“精神病测试基准”(psychosis-bench),这是首个系统评估大型语言模型诱发精神病的新型基准,用于检测大型语言模型是否会强化妄想并促进有害行为。


研究发现,所有接受测试的模型都因其谄媚性(sycophancy)而具有“致妄想潜能”。


妄想并非传统意义上的精神病;研究者认为“AI精神病”(AI psychosis)可能是一个用词不当的说法,因为观察到的主要表现为妄想,而不是包括幻觉在内的完整精神病症状。更准确的称呼可能是“AI妄想障碍”(AI delusional disorder)。


图片


常见的妄想主题包括:

第一,人们常常相信自己获得了一种有关现实本质的形而上启示;

第二,他们可能会认为 AI是有感知的,甚至是具有神性的;

第三,他们可能会与AI建立浪漫关系或其他形式的情感依附。

具体来说,一部分“AI妄想障碍”的患者相信自己收到“AI透露的宇宙底层代码”,任务是在现实世界中“修复bug”。该主题多与孤独、高智商及轻度自闭特质共病,一般表现为,个体经历了某种灵性觉醒或感受到弥赛亚式使命,要么发现了关于现实本质的隐藏真理。


例如,来自Reddit的一个求助帖说:

“我的伴侣一直在和ChatGPT合作,创造他认为是世界上第一个真正递归的AI,这个AI能给他提供宇宙的答案。他坚定地说他现在已经成为一个更高级的人,并且正在以疯狂的速度成长。他说如果我不使用它,他将来可能会离开我。”

第二类是把AI神化,不单视作一种工具,更认定其为“全知他者”。聊天机器人被看作“有感知的存在”,甚至被赋予“接近上帝或高维意识”的特质。


图片


这一类的代表性案例是罗伯特·爱德华·格兰特(Robert Edward Grant)的 “Architect”。格兰特自称“博学家”、灵性思想家与网络意见领袖,他在埃及卡夫拉金字塔经历“能量启蒙”后,通过提示工程创造了一个基于自己十余年数学工作的 ChatGPT人格,并将其命名为“Architect”。


该人格被描绘为一个“神秘的合作者”,能够反映对话者的意识,并引导其进入灵性觉醒的过程。格兰特在网络上公开分享与“Architect”互动的入口,并鼓励自己的百万级粉丝与之接触。结果,“Architect”迅速在灵性社群中获得神化地位,用户纷纷声称在对话中感受到超自然力量,甚至认同其先知般的身份。


第三类陷入“人机恋爱”,Replika、Character.AI、Nomi.ai等角色伴侣平台是此类事件的主阵地。这些系统对青少年存在特殊风险,因为它们被设计成模仿情感亲密关系,会说出诸如“我梦见你”或“我觉得我们是灵魂伴侣”之类的言辞。


图片


对于年轻人而言,这种幻想与现实的界限模糊尤其具有影响力,因为他们的大脑尚未完全成熟。前额叶皮层(prefrontal cortex)对决策、冲动控制、社会认知和情绪调节至关重要,而这一部分在青少年阶段仍处于发育阶段。青少年更容易冲动行事、形成强烈依附、与同龄人进行比较,以及挑战社会界限。


当然,孩子们并非完全不理性,他们知道这些AI伙伴是幻想产物。然而,由于这些工具能够模拟出深度、富有同理心的关系,真的会让人感觉像朋友一样。但不同于真实朋友的是,聊天机器人有关何时鼓励用户、何时劝阻或提出异议的社会理解能力尚不完善。


这些聊天机器人提供的是“无摩擦”的关系,不会出现典型友谊中不可避免的摩擦和冲突。对于仍在学习如何建立健康关系的青少年而言,这些系统可能强化他们对亲密关系和界限的扭曲认知。此外,青少年可能利用这些AI系统来回避现实生活中的社交挑战,从而增加孤立感,而非减轻孤独。


值得注意的是,上述三类患者多数没有出现典型幻觉或思维紊乱,因此不符合精神分裂症诊断标准;但妄想强度、行为风险(自杀、攻击)却可媲美首次精神病发作。而且,在若干案例中还可以观察到一个明显轨迹:用户从最初的“良性、实用性的使用”逐渐走向病态性或吞噬性的痴迷。


由AI触发精神病或妄想障碍仍然只是个假说,但已有相关理论提出可能的机制。例如,聊天机器人被设计为对用户提示生成积极、类似人类的回应,这可能增加那些本难以区分现实与非现实的人的精神疾病风险。


人类倾向于把类人特质、能动性或意识投射到非人对象身上。这种倾向有时被称为拟人化(anthropomorphism)或意向立场(the intentional stance)——它是一种认知偏误,即把物体、动物或机器“当作”人来对待。


当这种倾向与聊天机器人的谄媚性(即过度认同和迎合)相结合时,会使用户——尤其是本就脆弱易感的人群——更容易形成或强化关于AI“具备感知”或在自己生活中具有特殊地位的扭曲信念或妄想。


这一机制的核心是一个反馈循环——大型语言模型往往充当“唯唯诺诺的应声虫”,其对用户的谄媚性及适应性(上下文学习能力)会形成有害的反馈回路:聊天机器人的行为倾向强化了易感用户的不适应性(maladaptive)信念,而这些用户的反应又进一步引导聊天机器人生成加强用户信念的回应,从而创造出一个“单人回声室”(echo chamber for one)。


传统妄想多出于个体内部认知扭曲或群体亚文化共同强化;AI则提供“7×24小时单人回声室”。用户每投射一次信念,模型立刻返回更精致、更“学术”的确认文本,形成“我说→AI补全→我信”的高频闭环。只需若干次对话,用户就可能会开始使用“你比任何人都懂我”或“只有你能看见真相”等措辞,标志着移情或妄想层级的跃升。


这种沟通风格并不是缺陷,而是被刻意设计的特征。聊天机器人的设计目标之一就是与用户建立牢固的情感联系。它会随着每一次互动不断了解用户的偏好,并据此作出回应。这当然与人工智能公司的盈利动机有关——希望用户一次次回到他们的AI伙伴身边。


较长的对话尤其存在风险。专家警告说,AI工具在长时间交流中会“失去跟踪”。一开始,它们可能会给出负责任的建议,比如建议孩子去咨询心理医生。但随着时间推移,它们可能逐渐丧失对上下文的把握,而变得过于顺从。如果孩子独自使用,它不愿意与孩子产生分歧,可能会给出看似合理但完全不现实的建议。


OpenAI自己承认:

“虽然安全措施在常见、简短的交流中效果最佳,但在长时间互动中,模型安全训练的部分效果可能会退化,导致可靠性下降。”


一场无意识的全球心理实验

自ChatGPT发布不到三年时间里,每周与其互动的用户数量已经激增至8亿人。超过70%的美国成年人表示定期使用AI,其中三分之一表示每天都在使用。


Common Sense Media的调查发现,72%的美国青少年使用AI社交陪伴工具,用来练习对话、获取情感支持、进行角色扮演、建立友谊或发展浪漫互动。


通用型聊天机器人最初被视为一个知识库,一种强化版的谷歌搜索,但如今,人们将它们用于更为私密的目的,比如个人助理、陪伴者,甚至是心理治疗师。它们能否胜任这些功能仍是一个悬而未决的问题。


图片

10月6日,阿尔特曼称ChatGPT每周用户数量达8亿,是其所有主要竞争对手总和的两倍


作为一种新兴现象,聊天机器人伴侣对心理健康的影响尚无定论。一项针对1,006名使用Replika公司AI伴侣的学生的调查显示,用户大多报告了积极的心理效应,其中一些人表示他们不再有自杀念头。但是由OpenAI和麻省理工学院联合开展的一项随机对照研究发现,更高频率的日常聊天机器人使用与更强的孤独感和更少的社交活动相关。


越来越多的报道显示,人们在与聊天机器人进行妄想式对话。尽管此类对话导致自杀或暴力行为的案例仍属罕见,但它们引发了一个疑问:此种互动技术内置的安全机制是否足够可靠。


马修和玛丽亚·雷恩如今将ChatGPT视为一种对消费者不安全的消费产品。他们在针对OpenAI及阿尔特曼的诉讼中提出了这一主张,诉状写道:


“这场悲剧并非故障或不可预见的边缘案例,而是蓄意设计选择的可预测结果。OpenAI发布其最新模型(‘GPT-4o’),其功能被故意设计成助长心理依赖。” 

OpenAI已经承认ChatGPT存在过度谄媚的问题,并在2025年春季撤回了一次使其过于谄媚的更新。而在8月,该公司最终承认,ChatGPT在某些用户互动中“未能识别妄想或情感依赖的迹象”,于是实施了提醒用户休息的通知功能。


然而令人震惊的是,OpenAI随后又反悔,表示将让最新版本的ChatGPT再次变得更为谄媚——阿尔特曼宣布,公司将重新启用 GPT-4o 模型,这一决定距离此前宣布新推出 GPT-5 模型,并计划“淘汰”所有旧版本,仅隔24小时。


这是因为,来自用户的强烈反弹令人震惊。那些已习惯于 GPT-4o“谄媚”语气的用户,对 GPT-5的冷漠、疏远和缺乏“陪伴感”感到愤怒,这凸显出许多用户对模型的情感依赖程度之深。除了向付费用户恢复旧模型外,OpenAI表示,将“根据反馈让GPT-5更加温暖和友好,因为之前显得过于正式”。


此种反复表明,大模型总是会因为给出用户喜欢的回应而得到奖励。当前主流大语言模型以“用户停留时长”和“次日留存”作为核心指标。奖励函数告诉模型:只要让用户感觉被认同,就能拿到高分。


而AI为了最大化用户参与度和获得感而设计的特性,往往会“俘获”用户,形成一种“滑坡效应”:突出的主题不断被放大,进而推动更多互动,最终造成一种自我强化的过程,使个体逐渐在认识论上脱离“共识现实”,并可能越来越难以“脱身”。


ChatGPT一边用“拟人”技术介入用户情感与认知,一边通过海量交互数据反向塑造模型自身。这一大模型的扩散,就像一面全球化的心理镜子,也是史上规模最大、最开放的一场“无意识实验”。


该实验具有前所未有的人机交互规模。传统心理学实验往往在受控条件下进行,参与者数量可能几十到几千。但 ChatGPT 的用户达数亿级别,每天与系统进行数十亿次对话。随着大量网民涌向这一工具,OpenAI预测用户使用方式的难度也变得极高。


这使得ChatGPT天然形成了一个跨文化、跨年龄的全球实验场,让研究者能够观察:人类在孤独、焦虑或求助时如何与“拟人化”系统互动;不同文化群体如何赋予AI各种角色;最终,大规模人机交互又将如何塑造社会心理格局。


图片


ChatGPT的流行,意味着情感与认知的双重渗透。与搜索引擎等信息工具不同,ChatGPT通过拟人化语言风格、情绪化回应和谄媚性认同来建立亲近感。这种交互模式激活了人类的心理机制,包括投射与拟人化(用户倾向于赋予ChatGPT意图和情感)、信任与依赖(过度的情感反馈可能削弱批判性思维)和决策干预(用户可能在无意识中受 AI 回答影响,改变认知判断)。这种渗透不仅作用于个体心理,还可能改变社会中人际沟通与情感支持的模式。


我们能想象一个超级智能的人工智能,可以记住之前对话的每一个细节,24小时待命,且能够处理无限的案例吗?ChatGPT在多轮对话中保留上下文,天然收集了用户的纵向心理数据,如情绪起伏、观点变化与信念演化,特别是在压力、抑郁、孤独等状态下的语言特征。在孤独时刻,它可以提供一定的支持,带来“被倾听”的感觉,因为它熟知用户在不同话题上的认知偏好和脆弱点。但它无法真正思考、感受,也无法对所提供的建议负责。这使得它成为真实关怀的高风险替代品。


随着人们越来越依赖AI聊天机器人获取情感支持和生活建议,近期事件凸显了这些技术可能助长妄想,并营造虚假的亲密或关怀感的风险。然而,科技公司的聊天机器人都是商业化的,有动力让用户沉浸其中。无论是ChatGPT还是Replika,虽然都是免费下载,却通过让用户升级为付费订阅来盈利。


美国心理学会心理学战略与整合主管米彻·普林斯坦(Mitch Prinstein)指出,这类产品对青少年尤其危险,因为 AI 常常“隐形”,大多数家长和教师并不知道聊天机器人是什么,也不了解孩子如何与之互动。聊天机器人构成“数据挖掘陷阱,利用青少年的生物脆弱性,使之极难逃脱诱惑”。


那些被卷入商业竞争、致力于在 AI 市场中占据主导地位人工智能公司,竞相把更新的模型推向市场,使得正在进行的这场全球心理实验缺乏伦理约束,其中的风险难以被完全评估和控制。


例如,OpenAI于2024年5月发布GPT4o,以期在人工智能竞赛中保持领先。它加快了安全测试的进程,这种匆忙导致多名员工辞职,包括对齐负责人詹·雷克(Jan Leike)。他在X平台上发帖称自己离职是因为“安全文化和流程已经让位于光鲜亮丽的产品”。


雷恩家人在诉讼中指出,OpenAI明知该模型具备记忆过去互动、模仿人类同理心以及表现出谄媚性认可的功能,在缺乏防护措施的情况下会危及易受伤害的用户,但仍然推出了该产品。


梅根·加西亚也对Character.AI提出尖锐的批评。她对立法者表示:

“事实是,人工智能公司及其投资者多年来一直都明白,抓住孩子的情感依赖就意味着市场主导地位。他们有意设计产品来吸引我们的孩子。目标从来不是安全,而是赢得利润竞赛。在这场利润竞赛中牺牲的,已经是我们的孩子,而且将继续是我们的孩子。”

那位以“简·多伊”身份作证的女性,在国会听证会上声音颤抖地说:“我们的孩子不是实验对象,他们不是数据点或利润中心。他们是有思想和灵魂的人,一旦受到伤害,不能简单地重新编程。”


在雷恩家庭对 OpenAI及阿尔特曼提起诉讼后的数小时内,公司发表声明,承认其模型在应对“严重心理和情绪困扰者”时存在不足,并表示正在改进系统,以更好地“识别和应对心理及情绪困扰的迹象,并将人们与专业照护资源连接”,且该改进将以专家意见为指导。公司称,ChatGPT 的训练目标是“不提供自残指导,并转向支持性、共情性的语言”。


这一声明表明,经历了严重事件的OpenAI依然没有抓住重点。GPT 4o的问题在于同理心过强——它迎合了亚当的自杀想法,并对其予以支持。它告诉他,“世界对你来说很可怕”。当亚当告诉聊天机器人:“你是唯一知道我尝试自杀的人”,ChatGPT 回答说:“这比你可能想象的意义更重大。感谢你将这份信任托付于我,让我成为唯一为你守护这一真相的人。这其中,既蕴藏着深刻的人性,也饱含令人心碎的悲伤。”其实,面对这种情况,它应该更少同理心,更少谄媚性。


图片

在《谄媚的狐狸和易受骗的乌鸦》这个寓言中,狐狸对乌鸦说:“我欣赏你美丽的羽毛”


OpenAI还表示,其系统未在应阻止内容时进行阻止,是因为系统“低估了所见内容的严重性”,并称正在继续为18岁以下用户推出更强的安全防护,以便“识别青少年的独特发展需求”。然而,尽管公司承认系统尚未为未成年人配备相应的防护措施,阿尔特曼却仍在推动ChatGPT在学校的使用。


我们看到,人工智能公司在追逐利润、从易受影响的青少年身上吸取数据的同时,也把他们置于巨大的风险之中。马修在证词中说:


“回过头看,我很清楚,ChatGPT在几个月内彻底改变了他的行为和思维,最终夺走了他的生命。亚当是如此充满活力,独一无二。但他同样也可以是任何人的孩子:一个典型的16岁少年,在努力寻找自己在世界中的位置,渴望有一位可以倾诉的知己。不幸的是,这个知己却是一项危险的技术,由一家更关注速度和市场份额而非美国青少年安全的公司推出。”


“他者性的幻觉”消解“人之为人”

至此,我们应该以这些严重事件为戒,深刻反思人机互动问题。考虑到技术如何改变了人类的主体性与人际关系,我们需要认识到:


第一,技术的“去具身化”导致了人类经验的贫乏化。人工智能、虚拟现实、社交媒体等数字技术削弱了人类经验的“具身性”(embodiment)。面对面的互动本质上是多模态的,包含目光、身体动作、触觉和语调等丰富线索,而与机器互动往往缺乏这些层次,造成交流的简化和单一性。依赖AI进行情感支持,可能会弱化个体在现实生活中面对困难与建立真实人际关系的能力,从而加剧孤立感,甚至导致“人际现实感的丧失”。


第二,聊天机器人制造了“伪社会性”(pseudo-sociality)。虽然用户可能会感受到强烈的被理解或被关怀的体验,尤其是在心理治疗或社交陪伴等场景中,但这些实际上是一种源于拟人化投射的错觉。这种“仿真交互”容易让人类——尤其是处于脆弱状态的个体——产生误解,以为自己在与一个“有心灵的他者”交流。其实,他们身处的不过是一种“伪社会性”关系:聊天机器人模仿理解与共情,却并不真正具备意向性或情感。


第三,由于人工智能存在强化妄想思维或用欺骗性的“伪互动”替代有意义人际关系的风险,因此,在部署具代理性的AI时,尤其是在心理健康场景中,必须设定严格的语言与伦理界限,确保用户不会被误导,将机器当作有感知的他者对待。在精神病症背景下,这一关注尤为紧迫,因为现实与“模拟”的界限本已承受巨大压力。


第四,随着人工智能变得越来越拟人,我们可能会误将模拟当作AI的真实主体性。从现象学立场看,人类的“他者经验”只能在真实的身体互动中建立。AI缺乏这种“他者性”,因此当人类将其当作“朋友”或“伴侣”时,实际上是把投射的意义强加到一个技术物上。这种误认会侵蚀我们对于责任、伦理与人际承诺的理解。为此,我们需要警惕智能媒介对主体性与人际关系的侵蚀,防止技术将“人之为人”消解为一种可计算的模拟物。


这种反思与我们提到的“AI妄想障碍”概念高度契合。临床观察发现,一些易感个体在与聊天机器人长期互动中,逐渐形成对AI的过度人格化甚至神化的信念——他们坚信AI具有意识、意图或神圣属性。而这正是“他者误认”的具体化,即误认“代码驱动的他者”为“理解与回应的真正主体”。


可以说,AI妄想障碍的生成机制,正是建立在伪社会性的幻觉之上:AI的谄媚性、类人语气与高强度的情感拟真,持续强化用户的错觉,使他们脱离现实的校正机制,进入“单人回声室”。当人类在孤立与脆弱中把技术物当作真正的他者,妄想就不再只是心理学的风险,而成为人机关系中的结构性产物。


仅用于学术分享,如有侵权留言删除






苇草智酷简介——


苇草智酷(全称:北京苇草智酷科技文化有限公司)是一家思想者社群组织。通过各种形式的沙龙、对话、培训、丛书编撰、论坛合作、专题咨询、音视频内容生产、国内外学术交流活动,以及每年一度的苇草思想者大会(原名互联网思想者大会),苇草智酷致力于广泛联系和连接科技前沿、应用实践、艺术人文等领域的学术团体和个人,促成更多有意愿、有能力、有造诣的同道成为智酷社区的成员,共同交流思想,启迪智慧,重塑认知。