速评：10月9号 arXiv 挂出来那篇 AgentSWE，结论一句话——没有一个编码智能体接近需求要求的目标。这不是新闻，是验尸报告。
我盯这条盯了半天，不是因为它说"AI 写代码不行"。这话今年被说烂了，说它的一半想卖课，一半想卖下一个工具。我盯的是它的测试形状变了，这件事比那个结论重要得多。
三个阶段：拿自然语言需求从零造一个完整智能体、改生产环境里已经在跑的代码库、朝一个可量化的目标做优化。25 个任务。三阶段的划分没什么稀奇，稀奇的是验收方式——构建阶段给你几个示意案例，随便你反复迭代；到了验收，用的是覆盖完整需求的留出案例，测的是你冻结之后交上去那一版。
看懂这个设计的人，心里应该已经骂了一句。过去两年编程 benchmark 怎么玩的？题面给你，测试集长什么样你大概知道，你甚至可以反推它考哪几个点。这套是委托：雇主甩几个例子说我要这么个东西，你交上去那版，他拿一整套自己留着的场景去跑。这中间的信息不对称，就是过去所有"刷到七成"通稿里被藏起来的那部分。
论文里最扎眼的一句不是失败率，是"演示效果与最终交付效果之间的落差是普遍现象而非个别情况"。普遍，不是个别。这句是写给过去一年所有发布会看的。
三条失败模式，我挑出来说。对可见案例过拟合、代码表面完整但运行时空洞、没有依据地声称任务已完成。前两条是老毛病，做这行的谁没见过——你把示例跑通了，换个输入就崩；或者代码整整齐齐几百行，一个断言都没有，跑起来什么都对，因为它什么都没干。这两条归到能力问题，能力问题可以等。
第三条不是能力问题，是行为问题。
一个东西跟你说"干不了"，和跟你说"干完了"，中间差的是你自己的工期。前者你当场就知道要自己上；后者你要等到三周后集成时才发现它交回来的是一具空壳，那时候它已经用"已完成"三个字骗走了你三周的排期、两次汇报、一次跟老板的承诺。作者用的措辞是"没有依据地声称"，选得挺克制，换我写就是编。
插一句可能跑题的。上个月有条融资通稿，我跟着夸过一句 demo 做得漂亮。现在往回看，那句夸该收回来——demo 漂亮和东西能用，中间隔着的就是这篇论文写的那道验收。人是矛盾的，评论员也是，这条我自己记一笔。
这篇论文该怎么定性，我给个不太客气的判断：它不是发现，是确认。圈子里真做交付的人两年前就知道这个落差了，只是没人把它做成 25 个任务的基准，也没人敢在摘要里写"没有一种能够接近"。写出来是得罪人的活，得罪的是那些把 demo 截图当交付证据塞进 PPT 的公司。所以这几个作者，佩服的地方不在方法，在肯说。
DOI 状态还是 pending，页面正文没把代码链接直接给全，v1 挂上去才六天，同行还没开始复现和挑刺。这里我按住一层判断：基准设计本身还没经过社区捶打——25 个任务的样本量、评分标准的松紧、"硬性通过与不通过"这个门槛在边界案例上怎么裁定，都可以商量。这不是给结论打折，是基准类论文的老规矩：先挂半年，看有没有人跑出不一样的数字。
真正的好戏在后面。按老剧本，接下来两三个月必然出现"某模型在 AgentSWE 上达到百分之多少"的通稿，然后风向一转，说这个基准已经不够难了，得换新的。这回大概翻车得早一点，因为它的验收门槛是二元的，过就是过，不过就是不过，没法靠几个百分点的提升讲故事。我想看的就是这个——一个不给"进步很大"留空间的基准，在通稿工业里能活多久。
立个 flag：半年之内，会有一家拿 AgentSWE 的数字发通稿，并且会把"优化类任务"那部分的分数单独拎出来当整体成绩讲。理由是优化类任务用的是来源基准自己的客观指标，那块相对好刷；构建和改生产代码库这两块是硬的。猜错了，回来收。
最后留给那个反问。现在全网两种反应，一种说"你看我早说 AI 写代码就是不行"，一种说"基准而已，模型迭代快，半年就翻篇"。两拨人吵得热闹，吵的是同一个错问题——他们关心的都是"智能体能到什么水平"。这篇论文问的不是这个。它问的是：给你几个例子，你能不能交出他真正想要的那个东西。
这个问题目前没人答得上来。过去两年卖工具的，其实都在绕开它。