(本文作者为 字母AI,钛媒体经授权发布)
文 | 字母AI
赶在IPO之前,Anthropic发布了Claude Fable 5.2和Mythos 5.2。
两者采用同一底座,核心差异为安全权限:Fable 5.2面向通用用户,带有网络安全与生物领域的安全防护限制;Mythos 5.2仅向经审核的机构开放,解除相关限制以支持合规的网络安全、生命科学研究。
新版本最大的升级在长任务上,尤其是机器人训练相关。同时Fable 5.2的token价格较Fable 5.1下降了20%。
并且Fable 5.2在审美、设计方面,和Fable 5.1相比,也有较大的提升。
Fable 5.2发布的半小时内,就有人用这个模型开发了一款画面十分精致的FPS游戏。
然而独立测评机构Artificial Analysis却发长文吐槽,称Fable 5.2的智能水平确实高了,token价格也确实便宜了,可每个任务的平均成本却提升了。最让Artificial Analysis难以接受的是,Fable 5.2比以前“话痨”太多了。
性能到底涨在哪?
先看评分。
机器人控制RoboDojo Sim从27.6%到64.9%,直接暴涨2.35倍;图表识别从44.8%到73.4%;远程职业任务从17.9%到41.3%;科研终端从52.6%到74.6%;FrontierCode 2.0从32.4%到49.1%;带工具的HLE从65.6%到74.2%。
电脑操作(Computer Use)OSWorld 2.1只从83.5%到89.3%,提升不大;知识工作AA-Briefcase只从61.5%(ELO 1669)到66.1%(ELO 1785)。
换句话说,在那些耗时越长、工具越多的长任务上,Fable 5.2的涨幅很大。而那种一轮就能答完的题,几乎没什么增长。
那这个长任务到底有多长呢?
Anthropic给出了一组对照试验,他们用了1000个Fable 5.2的agent,花了将近30个小时,就完成了费马大定理的形式化证明。而此前一个未发布的版本,配上专用的“外挂”(定制化工具调度框架,purpose-built harness),外加研究员全程引导,做完相同的工作,仍然需要11天。
并且Fable 5.2的action token,只用了那个未发布版本的三分之一。
换成1000个Opus 5.5的agent,结果显示,18小时完成26%,30小时27%,然后任务就卡住不动了。
除了数学推理这些显而易见的长任务,在Anthropic给出的性能表中所有的长任务基准里,RoboDojo Sim是涨幅最大的一项。博主@himanshu特地发文提醒,在Fable 5.2中,尤其要关注机器人和蛋白质设计这两项。
这个公开基准有42个仿真任务和18个真机任务,双臂,模型只能从摄像头画面里读环境。五个评分维度是泛化、记忆、精度、长程执行和开放词汇指令。
它考的是看着画面、记住前面、连续走完一串动作,如果过程中机器人“歪了”,那它必须得自己纠正。
Anthropic官方表示,它超过了“大多数专为控制机器人而建的AI系统”,因为这些任务都是机器人们完全没有在现实世界中见到过的。
过去大家都觉得,机器人需要专门训练具身智能模型,以解决空间理解、动作规划等问题。而Fable 5.2是一个通用模型,任何一家公司都可以直接用它来训练机器人。这就相当于大幅降低了具身智能公司的训练门槛。
而在Anthropic最擅长的编程领域里,官方博客给出了这样一张图,分别是几个当下最强的大模型在FrontierCode 2.0基准里的跑分。
并且Anthropic还用Fable 5.2不同的effort程度来进行跑分,结果非常令人意外,甚至我一度怀疑是填表的时候写错了。
Fable 5.2的Xhigh模式为全球最强,得分49.1%,每任务14.19美元。而effort调到最高的max档位,得分反而下来了,得分为Max 45.6%,平均每个任务44.70美元。
等于说花了更多时间去思考,还花了更多token,效果反而不如Xhigh模式好。
Anthropic官方给出的原因是:高effort制造的是过度斟酌。
Anthropic认为,较高effort处理例行工作时可能“搜集超出任务所需的上下文并过度斟酌”,还备了防“过度规划”的提示词。而FrontierCode考的是补丁够不够格合进真实仓库,上下文早就在diff里,把两行修复做成带主张的重构,在这套基准里就是不合格,因此得分低于Xhigh。
另外,Anthropic也表示,可能是因为模型想太久导致没法按时交卷,超时会导致扣分。
Fable最大特点是……便宜?
Fable 5.2的token价格从每百万输入10美元降到8,输出从50降到40,降幅20%;输出速度比5.1最多快30%。
fast mode另算,输入16、输出80,价格翻倍,token生成最多再快2.5倍。
缓存读0.20美元,Fable 5是1美元。
Anthropic表示,将Fable 5.2的effort开到High,成绩就能跟Opus 5.5开到头(Max)差不多,而且每个任务的成本只要后者的一半左右。
但Anthropic官方通篇没解释为什么降价。
那这20%从哪来?
9月12日,阿莫迪发文“We Must Pace the Frontier”,说放慢“不意味着停止模型训练或技术进步,而是确保公司有足够时间对齐并给模型加防护”。
10天后的9月22日,Anthropic发Opus 5.5,标价降20%到4和20,并说运行成本比Opus 5低约40%。约两小时后OpenAI发GPT-6 Sol和Luna,比GPT-5.6促销价低约50%。
Ramp经济学家阿拉·哈拉齐安(Ara Kharazian)表示:“这不是什么技术革新,这其实是一种价格战,压低AI价格,也压低了自己的利润率。”
还有一件事让人非常在意,那就是版本序号是5.2,而此前的Opus已经更新到了5.5版本。The New Stack表示,“竟然没叫Fable 5.5,真让人有点意外”。不过对于版本序号,Anthropic并没有任何解释。
在Fable 5.2发布后不到一个小时,打脸的就来了。
独立评测机构Artificial Analysis,发布长帖。说他们把Fable 5.2放上Intelligence Index v5,max档65分登顶,比Opus 5.5的59分高6分,比上一代Fable 5.1的49分高约15分,九项评测里拿下五项最高分。
别急,Fable系列一直是智力天花板,这个毋庸置疑。Artificial Analysis接下来写到,max档平均每个任务要花26.5美元,是Opus 5.5在max档10美元的约2.6倍,也是Fable 5.1的两倍左右。
单价是降了20%,可总成本却翻了一番。并且Artificial Analysis还“补了一刀”,说Fable 5.2在评测里生成了约2.75亿token,同类模型中位数只有7280万,“它话太多了”。
最后一点,性能跑分是能用数值进行衡量的,Anthropic表示,Fable 5.2还在设计方面进行了升级迭代。
于是在Fable 5.2发布不到半个小时,社区当时就有人尝试用Fable 5.2开发FPS游戏。
演示里,枪械、射击反馈和场景都有了。评论区有网友看完,觉得都可以直接发布了。
如果你只知道自己想玩一款什么样的游戏,连第一行代码都还没写,这时候倒可以让 Fable 多想几步。
更多精彩内容,关注钛媒体微信号(ID:taimeiti),或者下载钛媒体App