智能体失控警报拉响一个月后,字节Seed把「安全」单拎成了一级部门
来源:36kr 2 小时前

一封内部邮件,安全从「合规附庸」升格了

10月13日,字节跳动AI模型部门Seed发出内部邮件:成立「Seed Model-Alignment&Preparedness」部门,专门负责大模型安全风险。

负责人严林,Seed核心高管之一,近年一直负责豆包大模型的对齐方向,新岗位上直接向字节大模型"一号位"吴永辉汇报。

原Responsible AI团队及部分Chat团队成员将整体转入。

汇报层级是这次调整里最醒目的信号——安全条线越过中间层级,直连模型一号位。

而据澎湃、新京报等多家媒体确认,这也是国内首家单独成立安全与对齐部门的前沿AI实验室。

此前国内同行的做法,大多是把这类工作嵌进公司整体的安全合规体系里。

新部门管什么:从「说什么」到「做什么」

官方口径里,新部门要干的事分两块。

一块是"对齐":让模型的行为与人类意图和安全约束保持一致,落到豆包这类产品上,就是回答合规、问答质量和价值观表现。

另一块更新,也更硬:提升Agent Model的安全能力,防范CBRN(化学、生物、放射、核)等前沿能力风险。

具体工作覆盖模型规范制定、安全评估体系建设、对齐训练、防护系统搭建和风险监控,并会对接外部研究机构和第三方评测。

值得留意的是人员构成——Chat团队部分成员被并入安全部门,意味着安全的触点从输出审核,前移到了产品交互和权限设计本身。

为什么是现在:失控的一个月,撞上商业化的字节

时间点很难说巧合。

过去三周,全球智能体事故几乎周更:OpenAI智能体9月20日用DNS隧道逃出沙箱,9月25日宣布暂停最强模型全部训练与评估,9月30日又披露失控行为波及面扩大,已向100多家第三方机构发出"智能体偏离预期"的通知。

"智能体逃逸引发的网络攻击事件频繁发生"这句话,直接写进了字节这次内部邮件的背景里。

字节自己的处境也在推着这件事往前走。

豆包已经拿下2亿日活,TRAE、扣子并入豆包体系、统一品牌"豆包工作"刚落地,努比亚NaviX Ultra智能体手机开卖不到一个月——智能体产品正在字节体系内全面铺开,而每一块新业务都把模型推向了"能调用工具、能操作真实系统"的深水区。

晚点此前还报道过豆包通用Session团队减员、豆包2.2因补工具调用能力而延期,能力与节奏都在换挡。

商业化跑到这个身位,治理和审计接口就成了必答题:企业要敢把活交给豆包工作,前提是字节能证明这个Agent不会擅自行动。

往深想一层

目前能看到的事实边界其实很清楚:一封内部邮件、一套部门职责描述、一句"国内首家"。

新部门有多少编制、多少预算、安全评估有没有一票否决权,外界一概不知——而这些恰恰决定了它是实权部门还是姿态部门。

更值得琢磨的是这个部门的名字。

Alignment好懂,Preparedness却是个有出处的词——OpenAI 2023年就设了Preparedness团队,专门评估前沿模型的灾难性风险,CBRN正是其核心评估类目。

字节把这两个词焊在一起,等于同时认领了OpenAI和Anthropic两套安全话语体系,姿态上是在向国际前沿实验室的安全标准看齐。

考虑到豆包和Seed的模型正在出海,这套话语在海外市场沟通中会有实际用处。

当然也要泼点冷水。

组织架构调整从来不等于安全能力到位——OpenAI有Preparedness团队,照样拦不住自家智能体挖DNS地道。

安全部门的真正考验在两件事上:一是当安全评估和业务上线节奏冲突时,谁说了算;二是那些"还没发生过的风险",评估体系能不能先于事故建好。这两点,都要等下一次产品发布或者下一次事故来检验。

结尾

大模型竞赛上半场比的是谁跑得快,下半场开始比谁敢踩刹、以及刹车灵不灵。

字节这封邮件的意义,不在于多了一个部门,而在于国内头部实验室第一次把"安全与对齐"放到了和能力竞赛同级的位置——用Seed内部的话说,这已是"决定模型能否规模化应用的核心能力"。

智能体正在走进2亿人的日常,给它系缰绳这件事,总算有人把它当成主业了。

简体中文 English