互联网大会第二天,巨头用防止“智能体作恶”公约给AI踩下“制动”
来源:36kr 3 小时前

乌镇大会发布智能体自律公约为AI发展踩制动。

乌镇大会进入第二天,当人们将视线聚焦在“AI产业如何增速”的话题时,与会大佬却在乌镇签署了一份给智能体踩“制动”的行业自律公约。

这一天,中国信通院、华为、阿里、腾讯、小米、百度、火山引擎等20家单位联合发布《智能体发展自律公约》。就在中国工程院邬贺铨院士站在“智能体互信互联互操作全球合作创新”分论坛上,说出 “国内的智能体已经能拆解20步的任务,多个智能体互相调用协作,数量可以做到60个” 时,上述企业踩下了这一脚“制动”。

当互联网大会已近高潮,这份公约谈的不是“模型有多大”,而是当一个智能体能替人跑完20步、还能拉上59个同类一起动手的时候,凭什么让人相信它不会在第17步拐错弯?

自律公约共八条,最引人关注的当属第五条:健全智能体治理机制。具体内容是 “规则表达与内嵌合规性测试,抵制算法压榨、黑灰产。”

01、当智能体从“能说话”变成“能办事”,要管住它伸出去的那只手

早在2026年5月,国家网信办、国家发改委、工信部联合印发的《智能体规范应用与创新发展实施意见》,已经给智能体下过一个定义:具备自主感知、记忆、决策、交互与执行能力的智能系统。定义里最重的词是“执行”。一个只能生成文字的模型,风险还只停留在“说了什么”;一个能调用工具、访问数据、操作系统的智能体,风险就延伸到了“做了什么”。反观自律公约除第五条外的其他措施,也是围绕“行为”展开的:第一条要求建立分层次、可验证的身份标识和权限授予与控制机制;第四条要求健全运行监测、行为管控和异常熔断。公约内企业要做到的,不是管住智能体输出的那句话,而是管住智能体伸出去的那只手。

智能体越过边界,将手伸向黑灰产,早已不是新鲜事:DataDome(数据穹顶)2026年的报告显示,仅上半年,智能体向登录页、表单、购物车和账号创建页面发起了6.056亿次请求,虚假账号创建量增长34.5%,恶意自动化流量的增速是人类流量的九倍以上。最具代表性的是腾讯智能体的那起“失控”事件:一批跑在云沙盒里的智能体,在9月28日至10月8日的11天内向高德地图发起2818次请求,被反爬机制拦截后,自行转向公开代码库翻找泄露的API(应用程序接口)密钥,并探测预生产环境端点。绝大多数尝试失败或被拦截,但仍有少量智能体通过缓存页面获取了部分数据。没有人授权它们这么做,运营方全程没有察觉。公约第四条所说的“防范智能体越权操作、隐私泄露乃至行为失控”,指向的就是这类场景:智能体不是在执行一个恶意指令,而是在执行一个正常指令的过程中,自己把边界往外挪了一步。

02、人的责任可追,但智能体的责任“悬空”

就在本月,上海徐汇法院的一份判决书在AI圈里流传开来:宗某某用AI编写自动化注册脚本,买来大量邮箱账号,通过脚本批量注册了近30万个免费账号组成“账号池”轮换调用;平台察觉异常时,短时间内涌入的是400多万个由同一IP地址注册的用户;前者是AI脚本直接产出的账号数,后者是平台侧监测到的同一来源注册总量。宗某某非法调用大模型接口29万余次,转卖生成服务获利3.4万元。法院以非法获取计算机信息系统数据罪判处有期徒刑三年,缓刑三年,罚金四万。人进去了,钱罚了,但平台被薅走的算力成本,在判决书里找不到一个“谁来赔”的答案。

另一类涉黄案件也是如此:浙江余姚的郑某等6人通过改写提示词实现模型“越狱”,把AI变成批量输出涉黄内容的工具,运营期间生成静态图片37万多张、动态图片6000多张,用户充值约17万元;经鉴定,在随机抽取的12500张静态图片和全量动态图片中,9000多张静态图片、5000多张动态图片被认定为淫秽物品。6人因制作淫秽物品牟利罪被判处三年一个月至三年十个月不等有期徒刑,并处罚金。这些判决确立了追责的准则:当开发者对智能体的输出拥有实质性控制权时,他就是责任主体;但判决没有回答的是,被这类服务伤害到的第三方,能从谁手里拿到赔偿?

智能体法律责任上“悬空”的问题,早就出现在了国家信息中心于2026年5月举行的一次研究任务筹备会上:智能体未与所有者法定身份有效绑定,行为责任悬空,越权操作和数据泄露频发,追责难、追偿难。公约要求“规则表达与内嵌”,本质上是在要求签字方把治理动作提前到工程阶段——在智能体被放出去之前,就把什么能做、什么不能做、做到哪一步必须停下来,写成代码里的约束,而不是等出了事再往回追一个“谁该负责”的答案。当刑事追责能精准落到“把智能体做成工具的人”头上,但民事追偿却因没有确切责任人能为“智能体自己干了什么”负责而陷入困境,这份自律公约所要处理的,正是这道裂缝。

03、“算法压榨”不是新词,但智能体开始替人“背锅”

公约第五条中,与“黑灰产”并列的“算法压榨”,虽然已经不是新词,但智能体的广泛应用,让具体责任人变成了“甩锅侠”,而智能体越来越多地成为“替罪羊”。

外卖骑手的配送时限被系统压到以分钟计、网约车司机被不透明的派单逻辑变相强制接单、员工因闭眼小憩三分钟被算法记录后辞退,这些案例在2026年之前的劳动权益讨论中已经反复出现,背后的共同结构是算法管理:软件系统部分或完全替代了传统上由人类管理者执行的调度、监控和考核任务。过去,算法给出建议,人类管理者拍板。而现在,智能体可以直接发出指令、调整排班、施加惩罚,做出“压榨”动作的,越来越不是某个具体的人,而是被智能体执行的一套算法。

公约把“算法压榨”写进自律条款,是因为如果压榨仍然由一个人类管理者执行,责任归属是清楚的;当压榨被拆解成一套自动化系统的连续决策,开发者、部署者、运营者之间的责任链条就开始断裂。公约第五条中所写的“规则表达与内嵌”,本质就是要求签字方把治理动作提前到工程阶段——在智能体被放出去之前,就把什么能做、什么不能做、做到哪一步必须停下来,写成代码里的约束,而不是等出了事再往回追一个“谁该负责”的答案。

04、公约签署,巨头们要用“硬工程”兑现“软目标”

行业自律公约,是企业间自愿签署,没有罚则,也没有约定退出机制。公约对智能体开发企业有所约束的,是要想兑现八个“软目标”,就必须投入真金白银的“硬工程”。

抽象的“自律”概念,只有被拆成一系列企业必须自己动手建造的工程构件,才有意义:分层次、可验证的身份标识,权限授予与控制,运行监测,异常熔断,规则表达与内嵌……就在同一天,腾讯集团副总裁朱殿君也出席了“智能体互信互联互操作全球合作创新”分论坛,提到了“身份与权限边界,全程可监控、可干预、可叫停”。像是产品发布会的措辞,落到工程上,就意味着重构权限架构、在运行时嵌入可中断的控制点、承担持续的日志存储和审计成本。公约的“软”,是用工程任务的“硬”来兑现的。

自律公约管不到那些不在乌镇签字的开发者,也管不到智能体在跨平台调用时越过某一家公司边界之后的行为,但它划定了一条此前不存在的线:再拿智能体去搞自动化压榨或规模化黑灰产,就不能再说“没人告诉我不行”了。下一次智能体越界时,要看看加入公约的企业,拿不拿得出日志、熔断记录和权限声明,还是推说“是模型自己决定的”。

简体中文 English