速评：10 月 7 日挂上 arXiv 的这篇论文，880 KB，cs.AI 和 cs.SE 双分类。它要解决的核心问题其实出在预算上。
标题里那个“预测”容易被读成玄学。作者干的事其实很笨：找一条已经跑通的智能体轨迹，逐步回放，每次改完代码重跑测试，定位到让仓库从红转绿的那一步，也就是第一次转绿的那一步。然后拿这一步当参照，回头问基础检查点：这个动作，在你看来有多大可能？有三种问法：一种是算每字节比特数，一种是把这一步和被验证器否决掉的备选动作摆在一起做选择题，还有一种是允许它续写任何能通过测试的版本。跑十对基础模型和后训练模型，三种问法给出的排序，跟这些模型后训练之后在 SWE-bench Verified 上的 pass@1 排序对得上。
聪明在哪儿：它把“事后才看清”翻成了“事前先体检”。一条成功轨迹里，前面几十步可能全是摸索、废话、瞎改，但那个转绿点不撒谎——它证明在这一刻、这套上下文下，这些动作已经够了。拿这个点考基础模型，考的不是“你会不会写代码”，而是“你离那条已经被证明走得通的路有多近”。这比让基础模型从零驱动工具链靠谱；后者大概率卡在第一步：调不出规范的工具调用，根本走不到被评测的地方。
然后说我不买账的地方。整篇论文最诚实的一句，也是它最大的门槛：这套方法只需要一个东西——“某个基准的成功轨迹和验证器”。
只需要。说得轻巧。
成功轨迹从哪来？你得先有一个训完的、跑通过的、还把完整日志留下来的智能体。验证器从哪来？你得有一套能自动判定“这补丁到底修没修好”的测试设施，还得保证它不骗人。这两样恰恰是这轮后训练里最贵、最脏、最不好搬家的部分。能掏出这两样的团队，早就不缺“要不要投这一轮”的判断力了——他们的判断力就是从前面几轮里长出来的。真正需要被省下这笔钱的，是那些连验证器都没搭利索的团队；论文对他们说的是：先给我一条成功轨迹。
这是个循环，但不丢人。评估工具天生就是这样：你得先有点家底，才能用它省家底。
验证器这块，多说一句。这套方法的裁判是测试转绿，而在这行干过几天的人都知道，测试转绿和改对了之间隔着一层纸。补丁能通过测试的同时把别的东西弄坏，也能刚好迎合那几条断言。作者对“决定性步骤”的定义其实很克制——证明这些动作在既有上下文下足以解决任务，“足以”两个字用得不错。但一个靠测试转绿筛出来的参照点，本质还是局部最优的参照点。它能排好序，我信；它能告诉我们这模型离真正的工程能力还有多远，我不信。
还有一处更细的。作者开篇就把端到端 pass@K 排除在外，理由是基础检查点生成不了稳定的工具调用，拿它跑 pass@K 测出来的东西没意义。这话没错。可最后拿来验证自己方法有效的，仍然是后训练模型在 SWE-bench Verified 上的 pass@1 排序。pass@K 被请出门，又从窗户爬回来，当起了裁判。我不是说这里有硬伤——他们否定的是“拿基础模型跑 pass@K”，对齐的是“后训练之后的 pass@1”，两回事。我只是觉得这细节值得记下来：这领域绕了一圈，能当共识货币的还是那几组数字。你没法用一个还没被承认的指标去证明另一个指标不行。
再看那个 Patch MCQ。本质是把“会不会解决这任务”压成一道选择题：这个补丁，还是那个被毙掉的？选择题是好东西，好测、好复现、好算分。但“排序一致”这件事的信息量比它看上去小。十对模型排对了序，说明这三种筛查在这十个样本上有区分度；它不说明这套东西能预测“我投一轮后训练，收益是多少”。排序是相对的，预算是绝对的。论文标题里那个 predicting，实际干的是 ranking 的活。这不是挑刺，是提醒：拿它做选型的依据可以，拿它做“这轮值不值”的账本，还差一层。
说到这里得修正一下自己：我开头讲“预算问题”，更准确的说法是“注意力怎么分配”。预算紧的时候，你缺的是放弃的勇气，而非评估；预算松的时候，你缺的是排队顺序，也不是评估。这篇真正给出的，是把排队顺序前置的办法——不用把每个检查点都推上后训练流水线，先在门口过一道筛子。这个方向我喜欢。试错成本贵到某个程度，“少试一次”本身就会变成独立课题。它能出现，22 个作者、跨两个分类、方法拆成三种互相印证，说明这不是谁半夜想到的 trick，是有人认真在给“开枪之前先瞄准”搭基础设施。
上次我泼过冷水的那类“不训练就能预测”的说法，多半是在小样本上刷了个相关系数就宣布通用。这次至少把机制讲清了：参照点在哪、为什么这个参照点可信、三种问法怎么互相兜底。所以这次我不泼。
顺手说一句，我一边嫌它只做了排序，一边已经想好了拿它去筛下一批检查点的用法。理论上“排序不等于预测”，行动上“有个筛子先使着”。人是矛盾的，评论员也是。
这里立个 flag：接下来几个月，“预筛”“早筛”“训练前评估”这类词会密集出现在论文标题里，然后某家发布会把它翻译成一句人话——“在你花钱之前，先告诉你值不值”。到那一步，真问题才会露出来：验证器和成功轨迹，是开放共享，还是变成下一道护城河。这篇论文的门槛，就是那道护城河的草图。
880 KB 里装的，是这么个东西。