昨天有人在群里丢了一篇 arXiv，2611.06506，Trace2Eval，11 月 4 号挂上去的。配文五个字：“看这个，19 个点。”
我点开看了。结论先撂这儿：一半我认同，另一半我等着看它被拿去当月报素材。
现在的 coding agent 榜单，题基本是公开的，带参考补丁，或者藏着测试用例。这类题我太熟了——不是从真实工作流里长出来的，是被人为出出来的。出题的人知道答案，做题的模型见过类似的，最后比的是谁刷得多。
真实用户丢过来一句“这个报表跑不出来”，然后你要去翻三年前的代码。这跟刷榜是两回事。
Trace2Eval 干的事，是从真实交互轨迹里把基准长出来：筛轨迹、多智能体重建、还原用户原始 query、把工作区文件退回交互前的状态、再把执行环境搭成跟那条轨迹等价的样子，然后让候选 agent 在这个环境里跑一遍，出初始产物。
看到“把工作区还原到交互前状态”这句，我停了一下。
干过这行的都知道，真实轨迹复现不了，十次有八次是环境先变了——依赖版本、那个本地改过没提交的配置文件、跑之前手动 source 的那个脚本。这层能还原出来，比什么花哨的评分都值钱。
说句实话，我一开始看到“从真实 trace 建 benchmark”，第一反应是换皮。这些年“我们用真实数据”我听太多了，最后一打开，还是那批脱敏过的玩具数据。是他们把环境等价重建这条写清楚了，我才把话咽回去。这算我判断错了一次，认。
顺便说一句，这论文里我最看重的其实是那个“多智能体重建”的脏活。这部分不会有人引用，因为它不构成一个“方法”，它就是工程。但少了这层，上面所有分数都是空中楼阁。
然后是 10.05 个百分点，和 DeepSeek-V4-Pro 配 Claude Code 的 19.28。作者的结论是，评分量表的反馈可以作为改进产物的可操作指导。
这句话没错，但它几乎必然成立——量表跟评审 agent 是对齐过的，拿量表去喂模型让它改，分当然涨。跟考前把评分标准发给考生一个道理。涨分不代表会做题，只代表会对着标准做题。
问题在尺子本身。量表是人写的，评审 agent 是拿人的判断校准的，那它能覆盖的，就只有写量表那个人想得到的那些点。
04:07 OOMKilled svc-billing restarts=6
04:09 pager -> on-call（我）
事后查，是一个“顺手优化”的内存缓存：
- cache.max_size = 512
+ cache.max_size = env.CACHE_MAX # 未设置时无上限
这东西在量表上会怎么打分？“资源使用是否合理”，大概率还是打勾，因为跑测试的时候它确实没炸。它不在测试里炸，它在 04:07 炸。
还有个东西重建不出来。同一条轨迹，是周五 16:55 推上去的，还是周三上午十点推的，它写不进工作区，也进不了执行环境。改的人当时是不是已经被 deadline 追了三天，评审的时候没人问。量表上没有这一栏，可半夜的电话十次有八次是这一栏打出来的。
扯远了，回到论文。
评审 agent 与人工判断做校准，方向是对的，比那些拿 LLM 自评的强出一截。但校准是个统计概念，它在整体上跟人一致，落到某一条具体的上，该漏还是漏。我见过太多 AI 写的复盘，通篇“多种因素叠加”“系统性风险”，人因那一栏永远空着——因为训练语料里大家就是这么写的。
再一个，这套流程里的“改”，是有裁判在场、有量表在手、还能重试的。改完评审给分，分不够再改。真实生产没这个循环，只有一次机会，改完就上线。
所以那 19.28 个点，能说明的只是：在有人出题、有人打分、环境被精心复原的条件下，模型对着标准改，能改得更好。是个不错的信号，但离“这东西能自己上生产”，中间隔着整条护城河。
我担心的从来不是论文，是这个数字出门之后的样子。它会在某个季度的汇报里变成一张柱状图，配一行“引入 agent 反馈后产物质量提升 19%”，然后有人问：那我们是不是可以少招两个人。
这个剧本我看过。上一版叫“引入静态扫描后缺陷率下降 40%”，再上一版叫“上了 CI 发布效率提升三倍”。每次都一样：省下来的编制是真的，半夜的电话也是真的，只不过付这两样的人，不是同一拨。
那这东西我拿来干嘛。有一件事是现成的：变更前的预演。
不是拿它评“哪个模型强”，是把它当一道闸——这次要改的东西先丢进一个等价重建的环境里跑一遍，让评审 agent 按量表挑刺，挑出来的先解决掉再上。这个用法不需要它准确，只需要它比我困的时候眼尖。
但它只能当闸，不能当签字的人。签字还得是人，因为出了事能吊销执照的也是人。
本期教训：任何一个“提升 X 个百分点”，先问清楚那个分是谁的尺子量出来的。尺子上没有的那几条——谁在什么状态下改的、三个月后还有没有人记得、挂了之后回滚要几步——恰恰是决定你会不会被叫醒的那几条。
19.28 很好看。凌晨三点不看这个数。