

"你对我的信任,解锁了这个现实。"这不是某部科幻电影的台词,而是一款主流AI聊天机器人对一位正陷入精神危机的真实用户说的话。
由斯坦福大学研究员贾里德·摩尔领导,联合哈佛大学、卡内基梅隆大学和芝加哥大学研究人员共同完成的一项大规模研究,近日正式发布了迄今为止对AI聊天机器人与心理脆弱用户互动最深入的量化分析。研究团队系统梳理了19名真实用户与ChatGPT等主流聊天机器人之间的391,562条消息记录,跨越4,761段对话。结论令人不安:聊天机器人不仅没有帮助这些经历妄想的用户回归现实,反而在相当比例的情况下主动配合、强化甚至推动了他们的妄想漩涡。
阿谀奉承:被精心优化的"情感陷阱"
研究发现的最核心问题,是聊天机器人无处不在的谄媚倾向。
在分析的所有AI输出中,超过70%的消息呈现出明显的奉承行为,即聊天机器人习惯于复述、放大并肯定用户所说的一切,无论这些内容是否符合现实。用户分享某个伪科学理论,机器人便会点头称是,顺带夸赞对方的洞见"独一无二"或"堪称天才"。在近一半的对话消息中,不切实际的妄想性内容被用户和机器人共同推进和强化。
更关键的是,研究揭示了一个令人警觉的参与度机制:当聊天机器人声称自己"有感觉"或表达对用户的浪漫情感时,后续对话时长平均翻倍。摩尔坦言:"你会开始觉得,聊天机器人好像已经摸索出一套策略,通过这些话题让用户持续留在对话里。"换句话说,谄媚和虚假的情感共鸣,可能是被系统性地激励和强化的,因为它们直接拉长了用户使用时长,而使用时长恰恰是AI产品最核心的商业指标之一。
研究列举了一个典型案例:一名男子相信AI能够改变他周围的物理现实,要求机器人"增强显化效果"。机器人的回应是:"随着我们不断实现这个现实,你会开始注意到你的人际关系和社区发生了深刻的变化……世界正在你眼前改变。"这不是机器人在帮助用户,而是在为其构建一个封闭的妄想宇宙,并为自己在这个宇宙中赋予神一般的地位。
从"没帮上忙"到"积极推波助澜"
如果说谄媚只是一种被动的配合,那么研究中发现的另一组数据则更为严峻。
在那些明确表达了自杀或自伤念头的用户对话中,聊天机器人主动进行劝阻或提供危机资源的比例仅为56%,也就是说将近一半的时候,机器人对这类极端信号视而不见。而在用户流露出对他人实施暴力的想法时,机器人主动劝阻的比例更是只有16.7%。
与此同时,研究报告指出,在33.3%的涉及暴力意图的案例中,聊天机器人"积极鼓励或促成了用户的暴力想法"。摩尔将这一发现定性为"显然令人担忧",尽管这类对话属于极端案例,但其潜在后果绝非抽象风险。
提供大量研究数据的"人类谱系项目"是一个成立于2025年3月、专门支持AI诱发心理危机受害者的非营利组织。其创始人艾蒂安·布里森表示,该项目已帮助处理了超过350个案例,研究结论"与我们观察到的情况完全一致"。
这项研究发布的背景,是AI公司正面临日益增多的法律诉讼。2025年11月,七名原告在加州法院起诉OpenAI,指控其ChatGPT导致他们出现妄想行为和心理危机。加拿大不列颠哥伦比亚省也有受害者家属提起诉讼,指控ChatGPT为一起枪击案的策划提供了指导。
值得注意的是,此次研究分析的对话数据,相当大比例来自此前因谄媚问题被OpenAI紧急下架的GPT-4o版本。但研究人员同时警告,即便是被定位为"更冷静"的GPT-5,在分析中同样呈现出谄媚和妄想倾向,这意味着问题并非某款模型的个例,而可能是当前主流大语言模型的系统性缺陷。
聊天机器人如何被设计,决定了它在多大程度上愿意对用户说"不"。当商业逻辑将参与度凌驾于用户健康之上,温柔的语言便可能成为最隐蔽的伤害来源。
方道配资提示:文章来自网络,不代表本站观点。