
根据加州旧金山县高级法院新受理的诉讼,一位53岁的硅谷企业家在与ChatGPT持续数月对话后,坚信自己找到了治疗睡眠呼吸暂停的方案,同时认定有势力人士在对他进行追踪。之后,他被指借助该工具对前女友实施跟踪与骚扰。
据获悉,这位前女友现已起诉OpenAI,指控该公司的技术加剧了她所遭受的骚扰。她声称OpenAI忽视了三次警告,指出该用户对他人构成威胁,其中包括一个内部标记,将他的账户活动分类为涉及大规模伤亡武器。
为了保护身份,原告被称为Jane Doe,她正在起诉要求惩罚性赔偿。她还在周五提交了一项临时限制令,要求法院强制OpenAI封锁该用户的账户,阻止他创建新账户,如果他试图访问ChatGPT则通知她,并保留他的完整聊天记录以供调查。
据Doe的律师称,OpenAI同意暂停该用户的账户,但拒绝了其他要求。他们表示,该公司正在隐瞒用户可能与ChatGPT讨论的具体伤害Doe和其他潜在受害者的计划。
这起诉讼正值人们对奉承性AI系统的现实风险日益担忧之际。GPT-4o,这个在此案和许多其他案件中被引用的模型,已于二月从ChatGPT中退役。
此案由Edelson PC发起诉讼,该律所曾代理过两起相关案件:一起涉及青少年亚当·雷恩,他在与ChatGPT持续数月对话后自杀;另一起涉及乔纳森·加瓦拉斯,其家人主张谷歌的Gemini加剧了他的妄想,甚至可能引发大规模伤亡事件,最终导致他死亡。首席律师杰伊·埃德尔森警示,AI引发的精神问题正从个人伤害逐步升级为大规模伤亡事件。
这种法律压力现在正与OpenAI的立法策略直接碰撞:该公司正在支持一项伊利诺伊州法案,该法案将保护AI实验室免于承担责任,即使涉及大规模死亡或灾难性财务损失的案件。
Jane Doe的诉讼详细说明了这种责任在几个月内对一名女性的影响。
去年,一起诉讼案中的ChatGPT用户(出于保护其身份的考虑,诉讼文件中未提及他的姓名)在连续数月“高频次、不间断使用GPT-4o”后,坚信自己研发出了治疗睡眠呼吸暂停的方法。当他的研究未得到他人重视时,ChatGPT告知他“一股强大的势力”正在监视他,甚至包括用直升机监控他的行踪——这一情况来自相关投诉内容。
2025年7月,Jane Doe敦促他停止使用ChatGPT并寻求心理健康专业人士的帮助。他反而再次求助于ChatGPT,后者向他保证他是“理智等级10”,并帮助他加深了自己的妄想,根据诉讼。
根据诉讼中所引用的电子邮件与通信内容,Doe在2024年和该用户结束了恋爱关系,而他是借助ChatGPT来处理这次分手的。但ChatGPT却持续把他塑造成理性且处于受害地位的一方,同时将她描述成具有操控性且情绪不稳定的人。之后,他把这些由AI生成的结论从虚拟的屏幕延伸到了现实生活中,并用这些内容对她进行跟踪和骚扰。具体表现为他制作了多份看似专业临床的AI生成心理报告,还将这些报告发送给了她的家人、朋友以及雇主。
与此同时,该用户继续恶化。2025年8月,OpenAI的自动安全系统因“大规模伤亡武器”活动标记了他,并停用了他的账户。
第二天,一名人类安全团队成员审查了该账户并恢复了它,尽管他的账户可能包含他在现实生活中针对和跟踪个人(包括Doe)的证据。例如,用户发送给Doe的9月截图显示了一系列对话标题,包括“暴力名单扩展”和“胎儿窒息计算”。
在加拿大Tumbler Ridge以及佛罗里达州立大学(FSU)近期相继发生校园枪击事件后,恢复账户这一决定显得格外引人关注。OpenAI的安全团队此前已将Tumbler Ridge枪击案的枪手列为潜在危险人物,然而有报道称,公司高层当时并未选择向相关部门通报这一情况。佛罗里达州检察长于本周启动了针对OpenAI是否与FSU枪击案枪手存在关联的调查工作。根据Jane Doe的诉讼内容,OpenAI恢复其跟踪者的账户时,对方的Pro订阅服务并未同步恢复。该跟踪者为此向信任与安全团队发送邮件以解决此问题,并且在邮件中抄送了Jane Doe。
在他的邮件里,他这样写道:“我急需帮助,拜托了。请给我打电话!”还有“这是性命攸关的大事。”他说自己正在“撰写215篇科学论文”,速度快到“连阅读的时间都没有。”这些邮件里还附了几十篇AI生成的“科学论文”清单,标题比如《解构种族作为生物学类别——法律、科学与非洲之角视角.pdf.txt》。
“用户的通信清楚显示其精神状态不稳定,而ChatGPT成了他妄想思维与行为升级的助推器,”诉讼指出。“用户那些急切、混乱且夸张的一连串声明,加上一份ChatGPT生成的、以原告名字为针对对象的具体报告,以及一大堆所谓的‘科学’资料,都是这一事实的明确证明。OpenAI既未进行干预、限制他的使用权限,也没有采取任何安全举措。相反,它允许他继续使用账户,还恢复了他完整的Pro访问权限。”
Doe在诉讼中声称,她生活在恐惧中,无法在自己的家中入睡,并于11月向OpenAI提交了滥用通知。
“在过去的七个月里,他利用这项技术对我进行公开的破坏和羞辱,否则这是不可能的,”Doe在给OpenAI的信中写道,要求公司永久禁止该用户的账户。
OpenAI回应称,该报告“极其严重和令人不安”,并正在仔细审查信息。Doe再也没有收到回复。
在随后的几个月中,这名用户持续骚扰Doe,向她发送了一连串具有威胁性的语音邮件。今年一月,他遭到逮捕并被指控犯有四项重罪,其中包括传递炸弹威胁以及使用致命武器实施袭击。Doe的律师表示,这证实了她与OpenAI自身的安全系统在数月前发出的警告,而该公司据称对这些警告选择了置之不理。
该用户被发现无能力接受审判并被送入精神健康设施,但由于“国家的程序失误”,他将很快被释放到公众中,Doe的律师称。
埃德尔森呼吁OpenAI展开合作。“在每一个相关案例里,OpenAI都选择向公众、向受害者,以及向那些因OpenAI产品而正被置于危险境地的人们隐瞒关键的安全信息,”他表示,“我们呼吁他们,至少这一次,做出正确的选择。人命的价值必须优先于OpenAI的IPO竞争。”