速评：10 月 21 日挂上 arXiv 的 VeeReview，跑完 741 个仓库、1454 对智能体与人类 PR 的匹配，报出智能体那侧 build-only 比例更低，混合效应比值比区间 0.52 到 0.86，四组里三组显著。
这个结论我不转。
不是因为方向反常。是因为这篇论文自己交代了：它那把尺子没校准过。
先把体量摆清楚。两个人写的，47 页，9 幅图 11 张表，cs.SE 主分类挂 cs.CL，投 Empirical Software Engineering，还在审。VeeReview 这工具把 PR 拆成四组 build-verify 配对，看智能体写的改动和人类写的改动哪边验证证据更足；三组靠模型在确定性信号约束下判，剩下一组 Module Design 对 Unit Test，规则直接作用在 diff 和仓库目录树上。仪器不小，样本不小，所以它敢下结论，也确实下了——Architecture-Integration 那一组没过显著线，其余三组过了。
推文截到 OR 值这里就可以发了。问题在后面那段。
校准那一段：工具没达到预注册的校准标准，跟人工裁定标签的一致率只有 4% 到 60%，门槛是 80%。而那个人工参考集，25 个 PR，两个标注者，kappa 0.154。
25 个样本。两个人。0.154。
这里我得停一下。0.154 不是“标注者偶有分歧”的意思，是两个人对同一批 PR 的判断接近于掷硬币。拿一份自己都谈不拢的参考集当金标准，回头要求一把尺子跟它 80% 对齐——这逻辑从根上就歪了。你没法用一把没校准的尺子去校准另一把，再把校准结果拿去给 1454 对样本排队。这事不新鲜，benchmark 行业的老毛病，区别只在于大部分人把这段塞进附录第七页，这篇塞在正文里，还写了一句“方向与预注册假设相反”，然后继续往下走。
预注册假设被推翻，在这个圈子里不算新闻。没人在乎你几个月前白纸黑字写下的假设长什么样，大家只关心哪边的数字大。
真正值钱的是另一句。作者原话的意思是：由语言模型评判的流程度量，在某种程度上反映的是 pull request 的呈现方式，不是它背后的验证工作。这句该印在所有 LLM-as-judge 榜单的首页当页眉。人家还给了方子——机械判定的成分加一份经过验证的人工参考，两样都得有，缺一样就别拿去比什么验证实践。47 页里，这一句比那四个 OR 值加起来都重。
以及那句“方向与预注册假设相反”。态度我认。但态度清白不能当结论使。
同一篇里还有一段，我几乎可以确定，转述的时候第一个被跳过：按关联 issue、随附测试、改动规模标准化之后，匹配率差异缩了 34% 到 60%，规则判定的那一组，标准化后的区间直接含零。翻成大白话——所谓“智能体 PR 验证更充分”，一大半功劳属于“改动更小”“更爱顺手挂个 issue”“更爱捎带一个测试文件”。这是提交习惯，不是验证实践。拿智能体 PR 统计图当卖点的帖子我见过太多，没一篇提过标准化。
还有一层更别扭的。四组配对里三组是模型判的，结论的主体压在这三组上；唯一一组机械判定的，作者反而从它身上得出了最狠的那句“测的是呈现”。一篇论文用自己承认校准不过关的那部分证据撑住主要结论，再用唯一可信的那部分推翻自己工具的方法论前提——审稿人看到这儿估计也头疼。我希望过审的时候别把那句“测的是呈现”删掉。
这里立个 flag：未来半年，会有不止一篇通稿写“benchmark 显示智能体 PR 的验证证据优于人类”，同时会有零篇提 kappa 0.154 和那 34% 到 60%。而“LLM judge 测的是呈现方式”这句，会被抄进无数篇 limitation，抄完之后该用接着用——limitation 这一节在业界的真实功能从来不是限制，是免责。
说到这儿有点尴尬。我上个月还写过“LLM 当评委的榜单我一个都不信”，今天蹲在一篇自己承认尺子坏了的论文底下算了半天比值比，还认真给它标了个 flag。人是矛盾的，评论员也是。
但这条我留着不收。真要追更，就追一件事：一年后这套 VeeReview 有没有被人捡起来，把人工参考集做到两三百个 PR，先把标注者之间的一致性弄过 0.6，再谈比验证实践。做不到，那这篇就是又一个“自己承认尺子坏了，大家继续拿那把尺子量体高”的标本，而 47 页里唯一值钱的那句话，会成为下一批榜单的免责声明。