速评:这篇论文里最该被截图的一句话,不在摘要,在实验设置——模型没换,任务环境没动。
三天前挂上 arXiv 的 HarnessFlow(2611.06254),八个作者,18 页,8 图 7 表。核心做法说白了就是拿 MCTS 去搜 agent 的 harness:候选外壳和它们的评测记录存进一棵 refinement tree,搜索策略在 exploitation 和 exploration 之间来回掂量,选中的 harness 交给一个 coding agent 去改,改的依据是归档代码、执行反馈和一堆可复用的 harness 机制。每个 benchmark 只给 15 次 refinement。
数字是 69.48%,比初始 harness 高 10.89 个百分点,比 Meta-Harness 高 3.95 个点——顺带说明这条路不是这篇论文开的,他们只是把预算和搜索策略压得更省。
然后一堆人会把这条读成“harness 自动化”。我读出来的是另一件事。
模型固定,任务环境固定,唯一动的是包在模型外面那层东西:工具怎么描述、失败怎么重试、上下文怎么裁、报错怎么回灌。就这一层,15 次尝试,10.89 个点。这个量级放进任何一张模型发布的对比表里,都够单独占一行。
过去一年被记在模型账上的涨幅里,有一块是外壳的功劳,只是没人给它单独记过账。
这里得留个余地。15 次预算下搜出来的 harness,大概率高度依赖初始 harness 长什么样、任务分布长什么样;论文报的是六个 benchmark 上的均值第一,措辞是“among the methods compared in the paper”——这句是全文最老实的一句,也是二次传播时最先被撤回的一句。三天,还没有人复现。这次可能真不是刷榜,也可能只是又一个“论文里第一”。
但就算打个对折,这条线被低估的程度也够离谱。
原因很具体:harness 写不进海报。模型版本号可以印在 keynote 第一页,harness 是一堆 if、重试上限、工具 schema、上下文裁剪策略,卖给谁都不好定价。所以发布会永远只讲模型,外壳工程的收益被并进模型的账,模型的账越记越漂亮,下一轮越好谈。论文自己给的理由是搜索空间开放、候选评估要跑端到端太贵——翻成产业语言就是:不是没人想自动化,是试错预算太贵。所以“只给 15 次”这个设定比 69.48% 更值得看,它承认了预算有限,这才是工程现场。
还有个细节比准确率更该盯:优化后的 harness 平均每任务执行成本比手工基线低。通常“更强”和“更贵”是绑在一起的,这次反过来了。要是这条站得住,采购逻辑得改——不是买最贵的模型,是把便宜模型的壳调到不漏。
说到这个有点尴尬,上个月我还在说 agent 之间的差距八成在模型。现在这话得打折。不是我愿意改口,是这篇论文把“模型之外”那一块单独拎出来称了一次重。人是矛盾的,评论员也是。
立个 flag:接下来半年,哪家发 agent 产品,通稿里只有模型版本号、一个字不提 harness 改了什么,这次升级就先按挤牙膏算。反过来,谁肯把外壳的改动摆到台面上讲,谁大概率是真做出了东西。
全网都在等下一个更大的模型。可如果换层壳就能多拿十个点,那大家等的到底是什么?