OpenAI解散“灾难风险应急”团队,GPU大神Scott Gray也跑路了
来源:36kr 4 小时前

OpenAI……又解散了一个安全团队。

该团队名为“Preparedness”,意为“应急准备”,专门负责评估自家AI是否会带来灾难级的社会风险。

官方对此称,安全工作已经融入了开发流程,不需要单独设一个团队了

此前,OpenAI在两年间主要组建过4支安全力量,分别是:

Safety团队,关注当前产品的安全问题,负责人离职后被合并进研究部门;

Superalignment团队,关注远期超级智能对齐问题,已于2024年5月解散,其负责人离职后公开称“安全已给产品让路”,而后Mission Alignment团队作为其继任团队被组建,存续仅16个月。

AGI Readiness团队,2024年10月解散,评估社会是否准备好应对通用人工智能,负责人离职时称研究“在外部做这些工作会更有影响力”;

以及本次被解散的Preparedness团队,主要用于评估正在开发的最强模型。

如今几乎所有的安全团队都已消失,其工作均“已被融入开发流程”

Preparedness团队是做什么用的?

2023年10月,OpenAI宣布成立Preparedness团队,这个团队的职责是追踪、预测和防范前沿AI模型可能带来的更极端的风险场景,包括不限于:

模型是否已经具备造成大规模社会危害的能力;

生物、化学等高风险领域的技术滥用;

大规模说服、欺骗、操纵能力;

恶意代码生成方面的能力边界……

为了系统化评估这些风险,团队制定了一份27页的“应急准备框架”。

该框架采用矩阵方法,对前沿模型在多个风险类别下进行评级。

每个类别在缓解措施实施前后分别被评为低、中、高或严重四个等级,框架明确规定,只有评分为“中”或以下的模型才能被部署。

如果无法将任何一项风险降至“严重”以下,公司应停止该模型的开发。

2026年2月,Sam Altman从竞争对手Anthropic挖来Dylan Scandinaro接任Preparedness负责人。

Altman在X上写道:

我们即将以极快的速度推进工作,很快就会使用极其强大的模型。这需要相应的安全保障……他的工作不会轻松,但今晚我会睡得好一些。

然而仅仅5个月后,Preparedness团队在7月底被正式解散。

目前,该团队在高风险领域的评估工作已被拆分给现有团队接手。

负责人Scandinaro本人也开启了一个新研究方向——“递归自我改进”AI的安全风险,即能够自我优化并训练其他模型的系统。

联合创始人Greg Brockman对此解释:

我们已经把安全工作更紧密地编织进了模型开发流程本身。

言下之意是,不再需要一个独立的安全团队来负责审视、考核最新模型。

这种考量可能出于多种原因,其中比较主要的是来自商业化的压力,毕竟安全团队的存在意义就是说“不”,延缓发布、要求更多测试、否决有利可图但有风险的方案。

这一点很容易被视为产品阻力,此前OpenAI就曾将GPT-4o的安全测试从数月压缩到一周,只为了抢在Google Gemini之前发布。

不过,“融入开发”的说法本身也有一定道理:让安全人员嵌入开发团队,理论上可以让安全考虑更早介入、更贴近一线实践;

但,独立团队与这种嵌入式安全的根本区别在于:独立团队可以直接否决产品发布,而后者则不能。

安全高管陆续离职,员工不安情绪明显

实际上,近期已有多名安全高管离开OpenAI,包括:

OpenAI首席伦理官克洛伊·巴卡拉(Chloé Bakalar);

安全系统主管约翰内斯·海德克(Johannes Heidecke);

首席未来学家、前超级对齐负责人约书亚·阿奇亚姆(Joshua Achiam)。

其中克洛伊·巴卡拉于2025年8月加入OpenAI,此前在Meta担任了近六年的首席伦理学家,负责为Instagram和Facebook建立AI伦理框架。

她曾在普林斯顿大学、宾夕法尼亚大学和伦敦大学学院担任过学术职务,在OpenAI期间,她的工作涉及模型开发的伦理方法、人与AI的交互方式,以及关于机器意识的讨论

在她离职时,曾是公司当时唯一的专职伦理学家,且没有接替人选。

OpenAI的回应非常熟悉:

AI伦理在OpenAI中不属于某个人或某个团队,这种考量已被深嵌入由多个研究团队驱动的模型构建过程之中。

在这些人事变动的背景下,OpenAI内部的情绪也变得紧张。

一位员工称,当前公司内弥漫着“一种翻腾的责任感与恐惧感”,员工间也很担心公司在安全方面做得不够。

而这种不安情绪在7月的Hugging Face自主入侵事件曝光后明显加剧。事发后,员工公开表态,希望公司能把这次事件当作“警告性开火”来对待。

One More Thing

据统计,2026年OpenAI已经有12位知名高管和核心负责人离开公司或退出原来的核心岗位……

8月15日,OpenAI创始团队成员Scott Gray也已离开OpenAI,既没有官方声明,也没有告别长文。

Scott Gray,内部花名Bob,其精彩事迹可以参考阅读:

OpenAI神秘狠人,花名Bob

此神秘狠人此前从事GPU底层优化工作,加入OpenAI后一直在Acceleration团队,专注于大规模模型训练的底层计算加速。

他是GPT-4技术报告的署名作者之一,也参与了OpenAI Five和Sparse Transformers等项目。

x他在Bluesky上的自我介绍只有一句话:GPU Geek at OpenAI。

而如今,这句话已经改成了过去时。

参考链接:

[1]https://www.ft.com/content/53082739-7714-4aae-9816-e55ab423cbee  

[2]https://the-decoder.com/openai-dissolved-the-team-built-to-catch-catastrophic-ai-risks-reassigning-its-work-to-other-groups/  

[3]https://futurism.com/artificial-intelligence/openais-head-of-ethics-leaves-company  

[4]https://x.com/ArfurGrok/status/2088568082772173274 

简体中文 English