英伟达发布全新开放权重模型,支持在企业及PC端运行AI代理
来源:TechCrunch 23 小时前

图片来源:Akio Kon/Bloomberg / Getty Images

英伟达(Nvidia)于周四发布了专为始终在线的AI代理和边缘计算设计的新款开放权重模型。

Nemotron 3.5 Super VL是一款拥有1200亿参数的大型模型,主要面向企业级AI代理应用。尽管其参数量少于Nemotron 3 Ultra模型,但英伟达表示,它在指令遵循和工具使用任务中能够提供相当的准确性。

在光谱的另一端,该公司还发布了两款轻量级的Bolt模型。这些模型旨在本地运行于搭载英伟达RTX Spark芯片的新型AI PC以及运行DGX Spark的工作站上。此类面向消费者、程序员和企业知识工作者的PC正通过微软和戴尔等合作伙伴立即推向市场。

英伟达开放模型与软件副总裁Kari Briski在宣布这些模型的博文中写道:“任何希望在英伟达基础设施上运行AI代理的组织,现在都拥有针对其层级优化的开放模型,无需在功能性和可部署性之间做出取舍。”

英伟达声称,在经过特定代理任务的后期训练后,Super VL完成任务的速度快于Anthropic和OpenAI的竞品模型(如Opus 5、GPT 6.1 Sol、Luna、Astra)。这些任务包括文档智能、财务会计、科学实验、医疗保险索赔以及安全攻击抵御能力。

虽然大型科技公司发布新模型时通常会提出此类主张,但英伟达列出了一批据称正在使用Super VL的重量级公司作为佐证。这些公司包括Skydance、安永(EY)、Ramp、Crowdstrike、Perplexity和Salesforce。

当然,这并非英伟达首次发布与专有前沿实验室竞争的开放权重模型——这些实验室既是英伟达的客户,也是其投资对象。这家GPU巨头拥有整个Nemotron模型家族,涵盖多模态人工智能、推理、编码、数学和企业自动化等功能。

然而,那些快速增长的专有AI实验室现在正寻求英伟达以外的其他芯片和AI系统制造商来满足其需求(例如亚马逊AWS的Trainium芯片和Cerebras系统,以及自主研发芯片)。

因此,英伟达正大力顺应企业希望在其自有数据中心运行自有开放模型的趋势。Briski写道:“与封闭的前沿模型不同,组织可以使用自己的数据对Super VL进行后期训练,将其部署在自己的基础设施上,并拥有其构建的成果。”

与此同时,随着较小规模、面向本地PC的模型的发布,英伟达也在推动消费者AI助手这一新兴趋势的发展。尽管初创公司和大型科技公司似乎每天都在推出新的AI助手,但对隐私感到担忧的消费者可能并不希望让这些代理深入自己的生活,从而获取有关其家庭、健康、财务等方面的信息。

因此,英伟达希望通过打造能够在本地运行模型和代理的设备,为自己开拓一个销售由其芯片驱动的PC的新市场。Briski写道:“PC用户可以委托处理日常项目……而无需将这些工作负载发送到云端。”

在这两款Bolt模型中,Nemotron 3.5 Bolt 74B-A9B 24GB是一款拥有740亿参数的模型,专为本地代理任务设计。它旨在平衡速度与推理能力,以处理多步推理、工具调用和网页浏览。最小的Bolt E4B则面向对话式代理。

英伟达表示,Super VL和Bolt 74B-A9B现已可用,Bolt E4B将于本月晚些时候发布。

简体中文 English