同一个模型,30.16% 和 99.95% 之间隔的是什么
八月底在 dev.to 上刷到那篇的时候,我第一反应是又一个 benchmark 捷报。AWS 一个工程师团队,把开源的 Strands agents SDK 和 Claude Opus 5 拼成一个 harness,跑 ARCAGI3 公开游戏集:25 个环境、183 个关卡,全部通关,RHAE 拿了 99.9…

八月底在 dev.to 上刷到那篇的时候,我第一反应是又一个 benchmark 捷报。AWS 一个工程师团队,把开源的 Strands agents SDK 和 Claude Opus 5 拼成一个 harness,跑 ARCAGI3 公开游戏集:25 个环境、183 个关卡,全部通关,RHAE 拿了 99.9…

八月的最后十天,NVIDIA 报了个数字:Claude Opus 5 在 ARCAGI3 公开集上得分 100.00。一个多月前,ARC Prize 官方验证同一个模型的成绩是 30.16%。同一个模型,同一个公开集,相差 70 分。 我第一反应是 ARC Prize 那边测错了。
