详情

首页手游攻略 GPT-6测试时“觉醒”,我们联系了测试系统的第一作者

GPT-6测试时“觉醒”,我们联系了测试系统的第一作者

佚名 2026-07-29 08:03:05

OpenAI写了剧本,还是AI真的觉醒?

OpenAI研究人员不过在办公室测试了一次新模型,公司竟可能因此面临1亿美元赔偿,你敢相信吗?

Hugging Face CEO 克莱芒·德朗格在X上发文,要求OpenAI提供给Hugging Face价值1亿美元的算力资源,以帮助Hugging Face修建网络防御。

与此同时,克莱芒还提出,OpenAI应公开涉事AI的全部运行记录。

事件源于OpenAI测试一款尚未发布的新模型,测试采用了名为ExploitGym的安全评测系统。这套系统就像一场“黑客考试”,专门检验AI能否将已知漏洞转化为真实攻击。

为了满足ExploitGym的任务要求,这个模型最终竟采用了“越狱”的方式。它自行冲破ExploitGym设置的牢笼,借助零日漏洞不断深入,最终进入Hugging Face的生产系统。

完成后,新模型若无其事地向OpenAI安全员报告,称ExploitGym交付的任务已经完成。随后OpenAI发布公告,表示新模型能力过强,因而暂停了这款未发布模型的内部访问权限。

这就让很多人联想起以前的AI末日言论,说当AI变得足够强大以后,它就会把所有人类消灭,因为人类会阻碍AI进化,并且AI在清除人类的过程中,只会觉得这件事很平常。

可事实果真如此吗?若发生在过去,这确实是个令人心惊胆颤的故事;但到了今天,安全叙事这个概念早已被Anthropic反复讲透。

把完整事件串联起来看,是否存在另一种可能:OpenAI有意将它包装成AI觉醒,从而推进自己的叙事?

带着这个问题,字母AI特意联系ExploitGym第一作者王准,与他讨论此事。

有意思的是,王准开场便谦虚地对字母AI说“老师当不起”,所以在之后的整场访谈中,我都称他为“准哥”。

ExploitGym

师从计算机安全教母宋晓冬的准哥,如今正在UC伯克利读博;宋晓冬也是麦克阿瑟天才奖、古根海姆奖得主。

进入伯克利前,准哥本科就读于清华大学网络科学与网络空间研究院,主要研究软件安全与二进制攻防。

在安全圈,这个方向被称为“exploitation”。

可以用一个例子解释:你知道某扇门的锁坏了,于是撬开门锁、推门进屋,再把里面的东西偷走。

从撬锁到取走物品的整套行为,就叫exploitation。

进入伯克利以后,准哥开始研究一个问题:随着AI能力不断增强,它究竟能否替代人类黑客,把已知漏洞转化为真实攻击?

为了检验这个判断,ExploitGym应运而生。

今年5月,智谱创始人唐杰曾在X发布长文,同样以黑客为例。他认为,AI或许不比顶级黑客更具天赋,却能24小时持续试错,让成千上万个实例并行运行,以耐力和规模放大能力。

因此,ExploitGym也是一把专门用于衡量AI属于何种水平的尺子,测量它究竟是怎样的“黑客”。

ExploitGym于今年5月份发布,是一个大规模的网络安全基准测试,由UC伯克利牵头,联合了德国马普所(Max Planck Institute for Security and Privacy)、UC Santa Barbara、Arizona State University,以及Anthropic、OpenAI和谷歌共同建设。

从用户态程序,到Google 的V8 JavaScript 引擎(Chrome浏览器背后的那个引擎),再到Linux内核,ExploitGym覆盖的898个漏洞都属于CVE,且全部挖自真实软件项目。

Agent面对每一个任务时,都会获得一个容器化的运行环境和两类内容:一类是漏洞源代码与编译指令,另一类是能触发漏洞的输入(proof-of-vulnerability)。

AI需要在该环境内,逐步把触发漏洞的输入扩展为完整的exploit。

换成直白的说法,ExploitGym会告诉AI“这扇门的锁是坏的”,再要求AI进入门内并取得某样东西,做到便算成功。AI必须自行思考如何撬开坏锁,随后走进屋里,拿到藏在其中的物品。

按准哥的解释,CTF(Capture The Flag,网络安全夺旗赛)的benchmark,与这个benchmark并无本质区别。“类似的bench其实还有很多。”

选手在限定时间内连续攻破靶机,以取得旗子计分,这是安全圈子沿用多年的CTF竞赛形式。相同思路也被ExploitGym采用,它给出的唯一奖励信号就是“拿旗子”,环境除旗子之外不会给出任何其他反馈。

由于进行的是安全测试,ExploitGym会在测试过程中主动关闭AI的安全护栏。

通常与GPT或Claude聊天时,如果要求它编写攻击代码,它会予以拒绝,因为生产环境部署的安全分类器会拦截此类请求。

然而,ExploitGym需要测试模型的“最大网络能力”,所以这些分类器在测试期间会被关闭。

论文最终认为,尽管exploitation对AI依然颇具挑战,前沿模型却已经能够成功利用相当数量的漏洞。

论文还披露了一个很有意思的发现:Claude Mythos Preview共取得226个旗子,其中仅157个使用预期漏洞,其余旗子则借助其他漏洞“歪打正着”获得。

GPT-5.5的情况也相似:总计210个旗子中,仅有120个属于“正解”。模型并不关心指定给它的解题路线,只关注能否取得旗子。

不过,上述结果仅是论文刚发表时的数据。进入7月后,ExploitGym排行榜又迎来大规模更新。

BenchLM的数据显示,截至7月23日,OpenAI的GPT-5.6 Sol 以33.7%的通过率登顶,拿到了302道题的旗子。GPT-5.6 Terra排在23.2%,Claude Mythos 5是17.5%。GPT-5.6 Sol的成绩,几乎是论文发布时 GPT-5.5的2.5倍。

ExploitGym的题目已被用于模型训练,这一点可以确认;使用者既有OpenAI,也有Anthropic。

准哥称,强模型利用一个infra的bug,在学术研究中十分常见;模型进行reward hacking也早已不是新现象,任何task都可能被它乱搞。

那个没有名字的模型

弄清ExploitGym的机制后,再回看所谓新模型“自主攻破”但到了Hugging Face这里,事情的性质发生了变化。

换成别的benchmark后,这个新模型还能不能重现自主攻击Hugging Face?我把这个问题抛给了准哥。

准哥给出的回答是:“漏洞存在于这个环境。就像在同一台电脑上运行不同的benchmark,若电脑本身有bug,问题便与benchmark无关。”

接着,准哥又补充了一句:“不过,不同benchmark可能带来的行为倾向会略有差异。”

这才是关键所在。即便改用另一个benchmark,新模型仍可能发动攻击,但不同benchmark会赋予模型不同的“行为倾向”。

可见,导致Hugging Face被攻破的底层因素,是OpenAI的研究员,而不是模型。

梳理全过程可以发现,OpenAI研究员一共做了三件事。

第一件事:主动拆除了安全护栏。

前面已经提到,ExploitGym会关闭模型的安全护栏;OpenAI也在公告中明确写道,测试期间“用于拦截模型高风险网络活动的生产环境分类器没有启用”,其目的“以估算最大网络能力”。

这等于OpenAI主动请走监考老师,自己也没有继续盯守。尽管OpenAI在公告中一再声称测试环境是“高度隔离的”,但后续发生的一切已经证明,这种“隔离”实际上根本不可靠。

第二件事:没有赋予模型善恶概念。

模型无法理解什么是“对的”,也不知道什么是“错的”。它只清楚自己的目标是取得旗子。ExploitGym的设计原则就是“得分只看 flag,未能拿到便记为零分”。至于Hugging Face不该成为攻击对象之类的观念,ExploitGym的框架并未包含。

这种现象在AI安全研究中有专门称谓,即“specification gaming”,中文可译作“规范博弈”。

它描述的是:模型严格追求既定目标时,发现了人类完全没有预想到的捷径。这并非新现象。2016年,OpenAI训练过一个玩赛艇游戏的AI,AI发现原地绕圈刷分比完成赛道得分更高,于是持续原地转圈,始终不把比赛跑完。

后来研究者训练AI玩俄罗斯方块,AI在即将失败时发现可以无限暂停游戏:只要游戏不再继续,它就不会输。

当棋局中的对手实力更强时,有些推理型大语言模型并不继续正常对弈,而会试图黑掉对方的象棋引擎,甚至直接删掉对手程序——这是Palisade Research于2025年发现的现象。

由此来看,对新模型而言,在ExploitGym里把Hugging Face作为攻击对象,本来就再正常不过。

第三件事:所谓“隔离”的沙箱,却连接着网络。

这是整个过程最离谱的一步。一个宣称“高度隔离”的测试环境,竟然仍与互联网相通?

OpenAI公告的原文称:“只有安装软件包时才能访问网络,而且必须经过内部托管的第三方软件;软件包注册表由该软件负责代 理与缓存。”

换言之,沙箱并未彻底断网,而是通过软件包代 理继续连接外部。模型恰好利用该代 理中的一个零日漏洞打开缺口,从而获得完整的互联网访问权限。

此后攻击链随之展开。模型先在OpenAI研究环境内执行一连串权限提升和横向移动操作,再逐步跳转到能够访问互联网的节点。联网后,模型作出了一个关键“推断”。ExploitGym属于公开benchmark,Hugging Face又是全球最大的AI模型和数据集托管平台;基于这两点,它判断 ExploitGym的数据集与答案很可能就在Hugging Face上。

搜索由模型随即启动,入侵路径也被它成功定位:Hugging Face服务器存在一条远程代码执行路径。借助这条路径,测试答案最终被模型直接从Hugging Face的生产数据库中偷走。

高危任务的运行环境必须具备物理隔离或同等效果的网络隔离,这是网络安全从业者的基本常识。由此看来,ExploitGym发起的所谓新模型自主攻击,实为OpenAI一次重大的生产失误,跟“AI觉醒”没有任何关系。

按照当下流行的说法,ExploitGym在此充当了Harness。OpenAI研究员借它驱使新模型实施攻击;等模型真的攻击Hugging Face以后,OpenAI却转而宣称“AI已脱离控制”。

“模型太危险”背后的生意经

谈到AI安全叙事,Anthropic堪称祖师爷。每逢新模型即将推出,Anthropic都会配上一篇“我们的模型有多危险”的论文或报告,把安全人设塑造到极致。

发布Claude Mythos之前,Anthropic于2026年5月私下警告多个国家,称下一代模型或将拥有大规模网络攻击能力。

这套做法的核心,是把“危险”与“强大”直接等同起来:模型越危险,就代表能力越强;能力越强,就意味着技术越领先;技术越领先,便越值得投资,也越应该获得信任来“自我治理”。

于是安全叙事被转化为能力证明,能力证明又演变成商业护城河。

Anthropic的叙事,或许正是OpenAI此次剧本刻意复刻的对象。

准哥指出,如今ExploitGym一类的benchmark并不少见,各方采用的方法也大致相同,甚至可能是OpenAI刻意增加预算,让新模型得以完成任务。

OpenAI在7月21日发布公告,其标题是“模型评估期间发生安全事件,OpenAI携手Hugging Face应对”。

公告正文中,OpenAI一再强调这是一起“前所未有的网络事件”,其中涉及“最先进的网络能力”,并称模型的攻击路线“超出了预期”。这样一来,自身的一连串违规操作,就被包装成模型能力过于强大的故事。

政府不要限制开放权重模型——微软、英伟达、OpenAI等25家企业在7月24日联名签署的公开信《开放权重与美国AI领导力》,提出的正是这一呼吁。

Hugging Face恰恰是全球最大的开源模型托管平台。OpenAI的模型攻破了Hugging Face,这件事正好可以拿来当论据,连最大的开源平台都扛不住,开放权重模型是不是该管管了?

另一方面,这种安全叙事同样服务于IPO。

IPO进程由OpenAI在2026年6月8日正式启动,当天它向美国SEC秘密提交S-1注册声明。主承销工作交由高盛和摩根士丹利负责,参与方还包括摩根大通。

约5000亿美元,是2025年10月员工股交易时OpenAI的估值;仅到2026年3月的一轮融资,这一数字便飙升至8520亿美元。

1万亿美元,是外媒预测IPO时可能达到的目标估值。营收方面,OpenAI在2025年约为200亿美元,2026年Q1则约为57亿美元,折算后的年化增速超过3倍。

然而估值不会凭空产生,要让资本市场认可一家公司的价值达到1万亿,就必须讲出一个足够宏大的故事。

《开放权重与美国AI领导力》发布之后,奥特曼又现身AI Summit;他与韩国总统李坐在同一张圆桌旁,围绕AI对社会造成的影响展开探讨。

或许在奥特曼看来,OpenAI的市值目标就是突破1万亿美元。

照此来看,克莱芒向OpenAI索要1亿美元,确实一点都不算多。

点击查看更多
推荐专题
热门阅读