先说结论:arXiv 2610.13166,挂上去一周,整篇读下来,我只信一句话。而且不是它的卖点。
卖点叫 TerminalHorizon,「全自动长程终端数据合成引擎」。词儿漂亮,这届文案写得顺手。
真正让我把页面往下拖的,是中间那段自我招供:环境合成经常「提前完成或者简化了」那些关键工作。于是 agent 本该自己干的探索、实现、验证,全被替掉了。
就这一句。这句该裱起来,贴到每一家 agent 团队的会议室墙上!
为什么值钱?因为是从圈里人自己嘴里说出来的。现在多少 agent benchmark 是怎么造的,同行心里都有数:环境搭得干干净净,依赖全装好,状态码是对的,连报错都替你写成一句人话。然后拿这套东西去测「自主解决问题的能力」。
这不叫测试,这叫带着答案进考场!
我前年被某个号称「模拟真实生产环境」的东西坑过一回——具体哪次懒得翻记录了。进去一看,配置文件全是刚生成的,日志干净得像刚买的杯子。真实项目里的日志是一坨乱码,它那儿长这样。
所以我第一反应是:终于有人肯说。
第二反应是:那你自己这套引擎就干净了?
通读一遍流程,我给它的定性是——自己出考卷,自己判卷。做法是:先跑一遍独立执行,找出「构建环境时被省略的关键工作」,再拿这些证据反过来指导环境重建;同一个目标下不断加需求,新需求压着旧结果往上叠。
问题在哪,听出来了吗?「关键工作」这四个字,是模型跑的那一遍定义的。拿模型的行为定义什么叫真实,再拿这个定义去筛数据,训同一个模型。
这个环闭得很紧。紧到外人插不进手。
再看数字。论文说 1.5K 个任务环境,说拿这套数据 SFT 了 Qwen3.5-27B,得到 TerminalHorizon-27B,说在 12 个 benchmark 上全面提升。
environments: 1.5K
benchmarks: 12
negatives: 0
12 个全涨,一个没掉!
我不客气地说:这不是成果,这是信号。信号的意思是——测试集挑过。coding agent 的、真实生产场景的、通用推理的,形态差这么远的十二个摊子全涨零回退,统计上不叫「强」,叫「这组数被调过」。要么每个 benchmark 都挑了最吃自己数据的那条子集,要么 baseline 拉得不够干净。
我也可能说错。这条我确实没复现——权重和数据集都没拿到,纯看 paper。但按同一套逻辑:只有作者一方跑出来的 12/12,我按通稿处理。
然后是 RSI 那几段。12 小时研究预算,模型能「在初始方案之外继续实验」、「根据反馈改进方法」、「把有效改进保留进最终交付物」。
读起来最像发布会的就是这一段。三个动词,一个数字。
先说那个 12 小时。预算谁定的?作者。case 谁挑的?作者。跑几次?大概率不是一次。这不是恶意揣测,这是常规操作——能被写进 paper 的那几个 case,从来是几十次里活着爬出来的。
再说「保留有效改进」。「有效」怎么定义?这种自评估场景里,八成还是作者自己那套 rubric,或者人工看两眼。指标不给定义,等于没给。
不过——
这里得承认一次,是往好的方向被打脸。
它那个「同一目标下逐步加需求、新需求建立在旧结果之上」的设计,我认。大部分合成数据是平铺的:一千个任务排成一行,彼此不相干,模型做完 A 忘掉 A 再做 B,训出来的长程能力是假的,本质是一千次短程拼成一趟。TerminalHorizon 是叠的,第二层吃第一层的输出,第三层吃第二层。这个结构逼着模型必须把中间结果留下来、用起来,不然下一步直接断。
方向对。这是全篇除了那句招供之外,唯一值得抄的东西。
但它叠到这份上,还是没回答最要命的那一问:环境重建之后,那些「被补回来的关键工作」,到底是模型自己探索出来的,还是作者提前写好的脚手架?
论文里没给可复现的筛法。没有第三方拿这套引擎撞过公开任务。DOI 还挂着 pending。
说到姿态,我是欣赏的。它起码承认这层滤镜存在,还给这东西起了名。
但姿态不等于交付。
一个自己定义「真实」、自己生成数据、自己训练、自己打分、还在 12 个 benchmark 上一次没掉分的闭环,我没办法当结论用,只能当一条待验证的主张。
锐评评分卡:值不值得花时间读?值得,但只读那一段。读它承认「环境合成偷偷替 agent 把活干完了」那一段——那是这次唯一一件能拿去照别人的家伙。
剩下的,TerminalHorizon、27B、12/12、12 小时 RSI,全部贴「期货」标签,等第三方复现。等有人在真正的脏项目里把它跑通了,我再回来改这一段。
现在?先当科幻小说看。