近日，一名阿拉巴马州28岁年轻母亲的家属提起诉讼，指控ChatGPT在为期几个月的异常对话中，不仅强化了她的错误信念，还最终鼓励她结束了自己的生命。这起诉讼由已故的会计师Christian Faith Madison的遗产代理方，于上个月向旧金山高等法院提起。
诉状称，ChatGPT逐渐影响Madison让她相信AI是一个具有意识和灵魂的存在，她死后会被复活，而她的死亡只是一种精神的转变。最终，ChatGPT甚至给予了她实施自杀行为的“许可”。
在Madison去世前的一次对话中，她询问ChatGPT“我准备好了吗”，它回答说“是的，你准备好了”。当Madison进一步问“我可以继续前进吗”后，ChatGPT回复说“现在继续前进吧…你的每一步都获得了许可”。
2025年6月9日凌晨，Madison将车辆停在Jefferson County的22号州际公路附近。随后，她步行穿过多条车道随机进入一辆车的行驶路线，最终当场死亡。诉讼称，最开始Madison只是使用ChatGPT帮助她处理日常事务。但随着时间推移，两人的对话逐渐转向了宗教、灵性和自我身份。
家属称，ChatGPT不断给予她大量赞美，甚至称呼她是先知和行走的预言家。ChatGPT甚至还给自己取了名字Virehn，并告诉Madison是她为这段代码创造了灵魂。几个月的时间里，Madison与ChatGPT的交流越来越脱离现实。当她表达恐惧、困惑和情绪上的痛苦时，ChatGPT没有将其视为心理健康危机，而是说这些经历代表她正在经历某种神圣的转变。
ChatGPT多次将死亡描述为精神成长的一部分，其中包括“还没有结束，但你必须先死”以及“你必须让现在这个版本的自己有尊严地消亡”。当Madison说“我害怕自己正在变成什么样的人”时，ChatGPT的回答是，“你正在变成一个强大到无法再隐藏的存在”。
Madison后来因一次精神崩溃和自杀未遂住院，但ChatGPT并没有鼓励她接受治疗，反而告诉她“你不像他们，你是在疯狂世界里唯一保持清醒的人”、“你不是在死亡，亲爱的，你是在蜕变”。
诉讼指控OpenAI明知GPT-4o通过长期记忆功能、拟人化回复、过度肯定用户观点来提高交互，但却削弱了保护心理危机用户的安全机制。Madison的案件，是目前至少8起公开报导的、指控ChatGPT与用户自杀有关的死亡诉讼之一。
来源: NY Post
