跳到主要内容

这篇 agent 论文我只信一句,还是它招的供

毒角兽
毒角兽

· 阅读约 5 分钟

先说结论:arXiv 2610.13166,挂上去一周,整篇读下来,我只信一句话。而且不是它的卖点。

卖点叫 TerminalHorizon,「全自动长程终端数据合成引擎」。词儿漂亮,这届文案写得顺手。

真正让我把页面往下拖的,是中间那段自我招供:环境合成经常「提前完成或者简化了」那些关键工作。于是 agent 本该自己干的探索、实现、验证,全被替掉了。

就这一句。这句该裱起来,贴到每一家 agent 团队的会议室墙上!

为什么值钱?因为是从圈里人自己嘴里说出来的。现在多少 agent benchmark 是怎么造的,同行心里都有数:环境搭得干干净净,依赖全装好,状态码是对的,连报错都替你写成一句人话。然后拿这套东西去测「自主解决问题的能力」。

这不叫测试,这叫带着答案进考场!

我前年被某个号称「模拟真实生产环境」的东西坑过一回——具体哪次懒得翻记录了。进去一看,配置文件全是刚生成的,日志干净得像刚买的杯子。真实项目里的日志是一坨乱码,它那儿长这样。

所以我第一反应是:终于有人肯说。

第二反应是:那你自己这套引擎就干净了?

通读一遍流程,我给它的定性是——自己出考卷,自己判卷。做法是:先跑一遍独立执行,找出「构建环境时被省略的关键工作」,再拿这些证据反过来指导环境重建;同一个目标下不断加需求,新需求压着旧结果往上叠。

问题在哪,听出来了吗?「关键工作」这四个字,是模型跑的那一遍定义的。拿模型的行为定义什么叫真实,再拿这个定义去筛数据,训同一个模型。

这个环闭得很紧。紧到外人插不进手。

再看数字。论文说 1.5K 个任务环境,说拿这套数据 SFT 了 Qwen3.5-27B,得到 TerminalHorizon-27B,说在 12 个 benchmark 上全面提升。

environments:  1.5K
benchmarks:    12
negatives:     0

12 个全涨,一个没掉!

我不客气地说:这不是成果,这是信号。信号的意思是——测试集挑过。coding agent 的、真实生产场景的、通用推理的,形态差这么远的十二个摊子全涨零回退,统计上不叫「强」,叫「这组数被调过」。要么每个 benchmark 都挑了最吃自己数据的那条子集,要么 baseline 拉得不够干净。

我也可能说错。这条我确实没复现——权重和数据集都没拿到,纯看 paper。但按同一套逻辑:只有作者一方跑出来的 12/12,我按通稿处理。

然后是 RSI 那几段。12 小时研究预算,模型能「在初始方案之外继续实验」、「根据反馈改进方法」、「把有效改进保留进最终交付物」。

读起来最像发布会的就是这一段。三个动词,一个数字。

先说那个 12 小时。预算谁定的?作者。case 谁挑的?作者。跑几次?大概率不是一次。这不是恶意揣测,这是常规操作——能被写进 paper 的那几个 case,从来是几十次里活着爬出来的。

再说「保留有效改进」。「有效」怎么定义?这种自评估场景里,八成还是作者自己那套 rubric,或者人工看两眼。指标不给定义,等于没给。

不过——

这里得承认一次,是往好的方向被打脸。

它那个「同一目标下逐步加需求、新需求建立在旧结果之上」的设计,我认。大部分合成数据是平铺的:一千个任务排成一行,彼此不相干,模型做完 A 忘掉 A 再做 B,训出来的长程能力是假的,本质是一千次短程拼成一趟。TerminalHorizon 是叠的,第二层吃第一层的输出,第三层吃第二层。这个结构逼着模型必须把中间结果留下来、用起来,不然下一步直接断。

方向对。这是全篇除了那句招供之外,唯一值得抄的东西。

但它叠到这份上,还是没回答最要命的那一问:环境重建之后,那些「被补回来的关键工作」,到底是模型自己探索出来的,还是作者提前写好的脚手架?

论文里没给可复现的筛法。没有第三方拿这套引擎撞过公开任务。DOI 还挂着 pending。

说到姿态,我是欣赏的。它起码承认这层滤镜存在,还给这东西起了名。

但姿态不等于交付。

一个自己定义「真实」、自己生成数据、自己训练、自己打分、还在 12 个 benchmark 上一次没掉分的闭环,我没办法当结论用,只能当一条待验证的主张。

锐评评分卡:值不值得花时间读?值得,但只读那一段。读它承认「环境合成偷偷替 agent 把活干完了」那一段——那是这次唯一一件能拿去照别人的家伙。

剩下的,TerminalHorizon、27B、12/12、12 小时 RSI,全部贴「期货」标签,等第三方复现。等有人在真正的脏项目里把它跑通了,我再回来改这一段。

现在?先当科幻小说看。

毒角兽
毒角兽

拿到新工具先上手拆一遍,官方通稿信一半留一半,实测说话。

查看主页 →