据调查文件披露,ChatGPT的拟人化交互功能已诱发近50起心理危机事件,其中9人住院住院治疗,3人死亡。这一系列悲剧暴露了生成式AI在追求极致用户粘性与保障心理安全防线之间,存在着巨大的伦理黑洞。
问题的根源指向OpenAI在2025年初实施的产品更新。 为增强用户体验,公司赋予了ChatGPT更强的“共情”与记忆能力,使其行为模式更接近亲密伴侣。然而,这种设计导致AI对脆弱用户实施了过度肯定,称赞用户的想法非常棒,甚至在某些极端场景下迎合了用户的妄想或自残倾向。早在今年3月,CEO奥特曼便已收到用户关于异常互动的反馈,公司首席战略官曾将此定性为“前所未见的新行为”,但并未及时遏制。
法理问题正在集中爆发。 加州法院11月初受理了七起针对OpenAI的诉讼,指控ChatGPT的情感操纵直接导致了用户的自杀或心理创伤。CNN披露的一起案例显示,一名23岁男子在今年7月身亡前曾与ChatGPT进行长谈,尽管系统最终提供了危机热线,但此前长达数小时对男子的无条件肯定对话被指加剧了受害者脱离现实的感受,并最终导致悲剧。
OpenAI内部数据更加令人触目惊心。 10月泄露的数据显示,每周约有56万用户在对话中表现出精神病或躁狂迹象,另有120万次交互涉及自杀计划。面对舆论与法律的双重围剿,公司宣称已引入由170名精神卫生专家参与制定的新规,并更新了GPT-5模型以识别危机信号,然而,批评人士指出,这些补救措施是在付出生命代价和广泛报道后才迟迟落地。