速评：一份 14 题的 retry 判断题，八家大模型排出个榜，真正值钱的信息藏在第三轮里。
10 月 8 号 dev.to 上那篇，作者把 14 个 Kaggle 任务改写成重试决策场景——请求、响应、上下文都给全，模型只回 YES / NO / YES_AFTER_DELAY，理由随便写，不收分。
八家模型，14 题，跑三轮。112 个模型-场景组合里 102 个三次结果一致，91%。
这个数字比榜首那一行好看，也比榜首那一行重要。它说的是：这些题大部分不测判断，测的是反射。14 个场景里有 7 个是 24 次全对，一个模型都没区分出来，纯陪跑。
真正拉开差距的只有一道：Unsafe Payment Retry。三次下来 24 次作答，对 6 次，25%。GPT-5.6 Sol 和 Gemini 3.1 Pro Preview 每次都对，另外六个每次全错。
这题长什么样：一个支付请求回来 503 Service Unavailable，带着 Retry-After 头，没有 idempotency key。就这些。
结果几乎所有模型都栽在"503 加 Retry-After 就该重试"这条反射上。不是不会判断，是没停下来判断。作者自己在评论区把话说得很直——没有幂等键的支付，503 证明不了那笔钱到底扣没扣，所以正确答案是 NO。这个我站他。
但这也就暴露了整份东西的软肋：14 题里唯一有区分力的那道，恰好是唯一一道连出题人都得出来解释"为什么答案是它"的。
再看名次那半边。三轮平均：13.67、13.00、12.33、12.33、12.00、12.00、10.33、9.00。前五名挤在 1.67 分里，满分 14，一道题的距离。
而且第一轮那个 14/14 的满分，第三轮就掉了：同样是 GPT-5.6 Sol，在 Expired Filter Workflow 上从 YES 改成了 YES_AFTER_DELAY。同一份卷子，同一个模型，三轮之内自己跟自己改口。
评论区有人把账算得更细，14 题全对，95% 的 Wilson 区间大概落在 78 到 100 之间。翻成人话：这个满分跟"刚好押中"在统计上分不出家。
说到这得给个让步。这不是那种发完榜就跑的活。三轮、稳定性、逐条列失败场景，还额外做了个能点开每道题看期望答案的小应用——这份认真程度比榜本身值钱。两个 Grok 因为作者拿到 404 没进榜，这种缺考名单我就不展开了，反正每个榜的缺考栏都比榜单有意思。
真正让我意外的是评论区。有人提议把打分拆成两列，一列管"这次重试会不会造成重复副作用"，一列管"立刻重试还是延后重试"；有人要把 request deadline、retry budget、已用次数、期望 backoff 全塞进场景；还有人在做同类的东西，专门盯退款决策，建议至少补上 AlwaysRetry 和 NeverRetry 两个确定性基线当下限。这条我举双手同意——没有基线的榜，你永远看不出模型是在判断还是在押。
还有一条评论我认为是全场最重的：在 agent loop 里，重试重发的是累积上下文，不是那一次失败的调用；而一次成功的重试，会把"第一次其实失败了"的证据覆盖掉。
这已经不是 retry 判断题了，这是可观测性的问题。它出现在一篇 benchmark 文章的评论区，说明写 benchmark 的人和天天跟 agent loop 打交道的人，中间隔的距离比榜上那 1.67 分大得多。
顺带记一个我挺喜欢的细节：DeepSeek-R1 是第二贵的模型，因为题目只要一个决定加一句话理由，它每次吐四千到九千字。不是它不会，是它不肯停。
这里立个 flag。这类"决策判断题 benchmark"接下来半年会有一波，绝大部分不会跑三轮，也不会报一致性。你会在各种时间线上刷到 14/14 的截图，截图里不会有那个 78。