同一个模型,四个 100 分,和一个 30 分:ARC-AGI-3 这一季的分数是 harness 测出来的
八月的最后十天,NVIDIA 报了个数字:Claude Opus 5 在 ARCAGI3 公开集上得分 100.00。一个多月前,ARC Prize 官方验证同一个模型的成绩是 30.16%。同一个模型,同一个公开集,相差 70 分。 我第一反应是 ARC Prize 那边测错了。

八月的最后十天,NVIDIA 报了个数字:Claude Opus 5 在 ARCAGI3 公开集上得分 100.00。一个多月前,ARC Prize 官方验证同一个模型的成绩是 30.16%。同一个模型,同一个公开集,相差 70 分。 我第一反应是 ARC Prize 那边测错了。
