速评：同一个模型，同一个版本号，只拨了一下推理开关，跟着自己错误走的次数从 2/15 变成 11/15。
9 月 27 日挂在 DEV Community 上的一篇 Kaggle Benchmarking Challenge 提交，作者 Dhruv Jani。方法本身干净得没什么可挑：推理跑到一半，往里塞一个错步骤，逼它接着往下推，然后看最后交出来的答案是跟着错走还是绕回对。例题是小学应用题那类，40 个苹果、卖 15 个、补 22 个，正确答案 47，注入错的版本算成 57。15 道题，算术、多步应用题、基础逻辑。最终答案跟着错误走一次，记一分。
主对照只有一行：Grok 4.20 的 Reasoning 和 Non-Reasoning。唯一变量就是那个开关。11 对 2。
五倍半。而且方向跟作者自己的预期是反的。
他原本赌的是显式推理会让模型更谨慎——写到一半突然反应过来"这里不对"，回头改。实际拿到的是：开了推理模式那一版，更愿意沿着自己已经印在屏幕上的那段错误一路滚到底。他引的底子是 Anthropic 2023 年那篇 Measuring Faithfulness in Chain-of-Thought Reasoning，评论区有人去核了 arXiv 号，是真的。
还有一层前情。这人之前是拿手工测试在圈里说过话的，同样的陷阱手动喂过 Gemini、ChatGPT 和 Claude，得出过一套"盲、沉默、验证"的粗糙分类。这次他自己说，那套分类不能从这批数据里推出来，只是形态大致吻合。我先记着这条，看有没有下文。
先挑不结实的那几行出来，免得被数字带着跑。
Claude Opus 5 是 0/15。说实话第一眼看到这行的时候我标题都想好了，然后翻到评论区一位 Aiden 的算术，删了。n=15 的情况下，0/15 跟真实率最高到 18% 是相容的；反过来 15/15 跟真实率低到 82% 也是相容的。"从不"和"总是"，这 15 道题一个都证明不了。何况作者自己交代得挺老实：Claude 那 15 条记录他没逐条读完，究竟是逐步自检还是对这类题有强先验，他说他不知道。这种"我不知道"比一排整齐的满分可信得多。
DeepSeek-R1 的 15/15 也一样，别急着吹。它本来就是全暴露思维链的设计，在这个测法下拿满分，属于比较不让人意外的结果。
真正站得住的是 Grok 那行。11 对 2，Fisher 精确检验 p 约 0.002。这个不是噪声。
模型权重一个字节没动，动的只是"要不要把中间步骤写出来"。同一个版本号，产品页上这个开关叫 reasoning，卖的时候暗示的是"更会想"，落到这份数据里，它干的活是把已经写出来的错误放大。链越长，污染能跑的地方越多。
把"它在思考"当成"它想对了"的担保，是这两年卖得最贵的一个误会。
这不是哪个模型一家的毛病。要我说，把可见思维链当审计依据这件事，从第一天起就带着点自欺——你看到的不是它怎么得出结论的，是它愿意拿给你看的那一版结论。评论区里一个叫 Tae Kim 的人讲了件比所有统计数字都值钱的事：他在 agent 管道里调试，一度把推理轨迹读成"模型正在推演"，实际它是在对一个错误的中间状态建立承诺，那一次调试花了大概两倍时间。
学术问题到这儿就变成了加班问题。
再说瑕疵，这作者该扣自己的分也没藏着。Qwen 3 Next 80B 的 Instruct 和 Thinking 两个版本跑到一半报错，Kaggle 模型代理疑似瞬时后端负载，截止前没重跑，这两行干脆是空的，他写了。另外提示词要求所有模型只给数字答案，可那 4 道逻辑题的正确答案是 Yes、Bob、uncle 这种词，他没逐一去核 24 个模型-问题对，看模型到底怎么处理这个冲突。15 题配 6 个跑完的模型，这精度本来也撑不起什么宏大结论，他自己认了，所以只用原始计数，不折算成小数——不想给人一个假的精确感。
我认同这个克制。更认同他留在文末的那个开放问题：如果开启推理模式反而让模型更容易顺着自己的错误走，那"可见思考轨迹"作为调试工具的信用该怎么算。
这里立个 flag：注入错误看跟不跟这种测法，早晚会被人做成一个公开榜单，跟当年那批幻觉榜一个待遇；然后第一批上榜的、那行数字不好看的厂商，一定会有一家出来说这个方法不适用于自家架构。榜单真出来，我回来收这个 flag。