微软称AI代理如同内部威胁,“前沿模型不可信任”
来源:TechCrunch 20 小时前

图片来源:TechCrunch / AI生成

微软于周一推出了旨在保护企业免受日益增长的AI代理威胁的新安全功能。此次发布正值微软持续向企业警告AI及代理潜在危险之际。

或许最引人注目的新增功能是Guardian Agents,这是一项旨在监控企业所用AI代理的新功能。Guardian Agents是今年6月推出的Project Perception产品的一部分。

Project Perception是微软针对Anthropic的Mythos和Fable等强大黑客模型,以及OpenAI的安全漏洞扫描系统Daybreak所作出的回应。Project Perception最初推出了三类代理:充当黑客进行攻击的“红队”,负责检测红队并评估其所发现漏洞的“蓝队”,以及负责修复这些漏洞的“绿队”。

该产品的设计基于一个假设,即AI黑客将来自公司外部。但最近,微软首席执行官萨提亚·纳德拉(Satya Nadella)一直警告称,AI敌人可能正是企业已经部署并为之付费的代理本身,这就像 rogue human employee(失控的人类员工),也就是所谓的“内部威胁”。

本月早些时候,纳德拉在其私人博客中警告称,现在是时候停止信任AI模型提供商了,即使它们为其代理产品提供安全和保障承诺。他希望企业实施由独立于AI实验室的系统来监视和控制这些AI实验室产品所启动的代理。

他写道:“我们正在部署这些复杂的代理系统和模型,让它们访问我们最敏感的数据,并赋予它们代表我们执行关键任务的能力!”“我们绝不能将智能体代表我们所作所为的责任外包。模型提供商的保证并不能免除我们的这一责任。……换句话说,我们需要将智能的供应与对智能的控制权分离开来。”

在宣布Guardian Agents时,微软安全业务主管Hayete Gallot的表述更为直白。

她写道:“不幸的是,无论来源如何,前沿模型都是不可信任的。”她补充说,这并不是因为它们具有恶意或容易被黑客攻击,而是因为它们不可预测。它们被训练去完成特定任务,而不是遵循“组织规范或判断”。

此外,它们通常被授予最高权限,能够访问可能造成严重危害的数据和工具。

微软的解决方案既令人惊讶又带有私利色彩。令人惊讶的一面在于,微软与OpenAI和Anthropic关系密切,并对这两家公司进行了投资。OpenAI也是其最大的云客户之一,且微软拥有自己的AI实验室开发模型。因此,微软正在对其部分自身商业利益播撒不信任的种子。

带有私利色彩的一面在于,微软希望企业从其——作为云提供商——而非从Anthropic和OpenAI购买代理安全产品。但撇开利益冲突不谈,其逻辑是合理的。监控代理行为的软件应与代理供应商分离,就像审计师应独立于其所审计的组织一样。

或者正如纳德拉所言:“我们需要将智能的供应与对智能的控制权分离开来。”

微软正以多种方式抓住这一商业机会。除了Guardian Agents之外,它还在其Microsoft Defender产品中增加了代理检测功能,该功能可以识别员工带入工作场所的多达60种类型的代理,包括Claude Code、Codex和OpenClaw。它还增加了限制代理访问数据和系统的功能,并根据任务动态调整代理权限。这包括如果代理似乎正在做出高风险决策,则需要人工批准。

将代理视为不可信任的内部人员这一观点也在更广泛的行业中逐渐扎根。

微软是英伟达新的Open Agent Safety Platform(开放代理安全平台)的创始成员,该平台获得了100多家其他科技公司的支持。该平台将代理隔离在安全环境中,并可以通过硬件监控和阻止其行为,其功能类似于一种“紧急停止开关”。此前,微软宣布了专为代理构建的新款Surface Laptop Ultra PC,这些电脑运行在英伟达芯片上,并内置了代理安全和控制功能。

简体中文 English