编辑:编辑部 HYZ
太科幻了,深夜上线的Claude,可以像人类一样使用计算机了?查看屏幕、移动光标、点击按钮、输入文本,还能查找代码错误、自动搜集信息填表。AI推理已至瓶颈,下一个爆破点,就是AI操作电脑!
Claude 3.5深夜迎来重磅升级!
不出所料,Anthropic AI这周终于有了大动作——首发Claude 3.5 Haiku,全新升级版Claude 3.5 Sonnet也来了。
不过,「超大杯」Opus依然没有亮相。
让人惊艳的是,进化后的Claude 3.5 Sonnet一举击溃OpenAI o1,堪称最强推理模型。
它在各个方面得到了全面显著的提升,尤其是业界领先的编码能力。
而Claude 3.5 Haiku与上一代最强Claude 3 Opus性能相当,成本、速度与上一代Haiku相近。
甚至,Claude现在能够像人类一样操作计算机,不仅可以查看屏幕、移动光标,还可以单机按钮、键入文本!
Anthropic开发者关系主管表示,「计算机使用」是全新人机交互范式的第一步。同时也是,AI模型应该具备的全新基础能力。
许多做浏览器智能体的初创公司,一夜之间过时了。
网友们纷纷感叹:Agent和工作流都要变天了……
会自己用电脑的AI来了?
在公测中,Anthropic引入一项突破性的新功能:计算机使用能力。从今天起,开发者可以通过API,指导Claude像人类一样使用计算机了。
Claude 3.5 Sonnet是首个在公测中提供此功能的模型。
当然,这项功能仍处于实验阶段,使用起来还有些笨拙,可能出错。而Anthropic选择提前发布此功能,也是为了获得开发者反馈,将之快速改进。
为什么要训练AI操作电脑?
Anthropic表示,在过去几年里,强大的AI开发已经达到了许多里程碑,比如执行复杂逻辑推理,以及识别和理解图像的能力。
而下一个突破点,就是AI操作电脑了!如果模型不必通过专门定制的工具进行交互,而是按指示就能使用所有软件,这一定代表着未来的方向。
基本电脑操作
在这个demo中,Anthropic研究员给Claude提出了一个极有难度的挑战:
我的朋友要来旧金山,我想明天早上和他一起在金门大桥看日出。我们将从太平洋高地出发。你能帮我们找到一个绝佳的观赏地点,查看一下开车时间和日出时间,然后安排一个日历活动,让我们有足够的时间到达那里吗?
Claude自行打开了Google,开始了搜索。
金门大桥和用户居住地有多远呢?Claude会自己打开地图查找距离。
了解所需信息之后,它打开了日历,为主人安排好了日程。