上周 arXiv 上挂了篇六页的论文，ProofPaths。干的事：学生用 Claude、GPT 之类把作业写完，再让一堆 agent 分出几个来打分，再分一个出来当面追问学生“你第三步为什么这么写”。
我看到标题第一反应：又来了。
先把话说明白，我不反对这个方向。论文开头那句是对的——交上来一个正确答案，证明不了他会推理。这话比绝大多数教育科技的 PPT 实在。一对一访谈确实能问出真东西，也确实耗人力。这两句我都认。
问题出在解法上。
让五个 agent 互相批评，批评到最后，它们会一致
论文里最显眼的机制：多个评分 agent 拿同一份量规评同一份提交，互相交换批评，各自改分，最后由分数决定哪一份评审结果算数。
听起来很严谨对不对。交叉验证、对抗、修正。
这个剧本我看过。任何一组模型，只要共享同一个底座、同一批训练语料、同一套“什么算好答案”的隐含偏好，让它们互相批评到最后，收敛的是偏见，不是正确。
分数收敛不叫共识，叫串供。
真要抓这个，办法土得很：塞一个不看量规、只看学生原始步骤的评审进去，或者留一份完全独立的盲评做对照，看它们分歧在哪、为什么分歧。论文里没这么干——至少六页里我没看到这种设置。它用分数来决定用哪份评审结果，等于把“哪个 agent 说了算”交给了一次内部投票。
补一刀：五个 agent 拍板，出事的时候还是没人负责。它们的名字挂不上教务系统的成绩单。
唯一让我坐直的部分，是那个“绑原文片段”的设计
访谈 agent 问的每个问题，都绑一段它从提交里检索出来的原文。学生解释的时候，教师能直接对着看——他嘴上说的和他纸上写的，是不是一回事。
这一段我看得很慢。这是我在这篇论文里看到的、唯一一个真正理解“这东西是给人用的”的地方。
因为它的产物是对质材料，不是分数。教师看到的不是“这个学生 78 分”，而是“他第三段的变换说不清楚，我问他，他绕过去了，原文在下面”。
这比分数有用一百倍。分数是模型给的，对质材料是人看的。这两样东西混在一起卖，就是灾难的开始。
顺便说一句，评分控制器那部分，作者写了几个确定性测试，检查来源怎么处理、分数怎么聚合、纠正尝试有没有次数上限。
那个“上限”是全篇最诚实的一行。写这东西的人自己知道它会失控，会越纠越偏，所以先给它拴了根绳。
但我真正担心的不是论文，是它落地那天
论文里写着：教师可以看全部评审和访谈录像，并且能在作业工作流里直接覆盖系统给的成绩。
好。这个按钮必须留。
然后我就想到了现实。
这种系统进了学校、进了课程平台，第一步做的永远是“提效”。一个老师带两百个学生，现在有了自动评分加自动访谈，教研室开会的时候，那个提问一定是：“那是不是可以少配两个助教？”
论文作者写的是“辅助教师”。采购单上写的是“替代人力”。这两句话中间隔着一整个学期的半夜加班，加班的是那帮改作业改到十二点的助教——冤种。
说句实话：任何一套评分系统，只要关掉教师覆盖按钮还能跑通，那它从一开始就不是给教师设计的。
而这个覆盖按钮，恰恰是最好砍的。加它要写代码，砍它只要一句“为了流程统一”。
那这论文到底行不行
行。六页，方法清楚，访谈绑原文的设计是干货，确定性测试是良心。它的问题不在论文里，在论文外面。
至于“AI 能不能判学生的推理”，我的答案跟判线上告警一样：能判一部分，判错的时候得有人在。学生申诉那天，坐在那儿的必须是有名字的人，不是一组 agent 的加权投票。
一个不会说“我判断不了，你来看”的评分系统，跟一个不会拒绝任务的运维 agent 一样危险。区别只是前者误判的是成绩，后者误判的是生产环境。
本期教训一句话：模型可以出题、可以打分、可以写评语，但“这门课过不过”那个动作，得有一个具体的人把名字签在上面——签不上名字的自动化，最后都会变成没人认账的自动化。