跳到主要内容

那篇「预算内自我进化」的论文,真正的重点是 86.6 和 86.5 这两行

毒角兽
毒角兽

· 阅读约 5 分钟

先说结论:arXiv:2610.29121,十月二十一号凌晨挂的,九页,三张图,158 KB,标题《Recursive Self-Improvement on a Budget》。「Budget」和「Recursive Self-Improvement」挤在同一行,我第一反应是等着看它怎么圆。

圆得比我想的好。

但真正该盯的不是摘要里那些漂亮话,是 Claude Sonnet 4.5 那一行:86.6 对 86.5。

0.1 个百分点。留出集 100 个实例。一个实例就是一分。

我再说一遍,一个实例就是一分。

先照一照这个 0.1

论文的规矩是:所有方法走同一条返回规则,在已评测节点里挑 steering 求解计数最高的那个,并列取最早出现的。steering 子集在 HumanEval+ 上留 48 个实例,Polyglot 上留 64 个,剩下 100 和 145 做留出。

这就有意思了。你的选择器在 48 个实例上做 argmax,然后拿到 100 个实例上算分。48 个实例上计数差一格,argmax 就可能整个换人。换个节点,留出分上下一两分,属于正常呼吸。

在这个底盘上,86.6 和 86.5 的差距是一句「差不多」。作者没给置信区间,表里也没有重复实验的方差——十二次 GPT-4o 的运行倒是提了,Sonnet 那边只有单点数字。

单点数字配 100 个实例,写出来当卖点。这就是拿噪声当信号用。

这波,水分不小。

同一边还有两个数更值得看。父代求解率消融 85.3,校准最优编辑 85.1。把候选 diff 那八个坐标全扔掉、只拿父代的 steering 求解率去打分,你只掉 1.3 分;干脆不搜了、直接从 96 条编辑里挑拟合集标签最好的那条,你只掉 1.5 分。

1.3 分,在 100 个实例上是一点三个实例。

八个坐标,一个线性读出器,整套 Thompson 采样抽父代、四节点归档、冻结系数拟合的流程,买到一点三个实例。

我不敢说这是零。我只敢说,这个量级还没爬出噪声地平线。

那 96 条样本花在哪

官方框架里那个「Budget」,我给它算一遍账。

96 edits × 4 evals × 16 instances = 6144 次实例级执行

这 6144 次,是纯为拟合读出器烧掉的,还没算搜索本身要跑的评测。HumanEval+ 全套一百多个实例,这个量相当于把整个测试集从头到尾刷了接近六十遍,只为了让九个系数落位。

你说这叫「预算内」,那得看跟谁比。跟那些动辄几十万美元算力的自我改进实验比,确实省;跟自己写条启发式规则去挑编辑比,一点都不省。

账本这东西,不写清楚「相对于什么便宜」,就是文案。

该给的分得给

骂完说点正面的,不然这篇就成宣泄了。

最干净的一处是系数的处理方式:在 96 条样本上拟合完,系数直接冻结,后面不再动。这一手看着朴素,实际很关键——很多自我改进的工作死在「评测集被搜进去了」,读起来头头是道,复现出来全是泄漏。冻结系数等于自己给自己上锁,锁住最容易作弊的那条路。这一点我认。

另一处是校准最优编辑这个基线设得对。它逼着方法去证明「搜索」本身有价值,而不是「我恰好从 96 条里挑出了一条好的」。这个对照不做,整篇的说服力基本归零。

然后看 GPT-4o 那张表:

本文返回节点        87.0%
HGM 选择            85.1%
父代求解率消融      84.2%
校准最优编辑        82.8%
根 scaffold         81.2%

87.0 对 82.8,4.2 分。四个多实例的差距,是我愿意承认「有效」的量级。

所以问题来了。同一个方法,在 GPT-4o 上赢校准编辑 4.2 分,在 Sonnet 4.5 上只赢 1.5 分。

作者把这条写成「在两个模型上均优于基线」。这话没错,但它把最重要的趋势盖住了。

方法的价值随底座变强而缩水。 这才是这组数字在说的事。底座自己越会改 scaffold,那个用八个坐标猜好坏的廉价读出器就越没东西可猜。把 Sonnet 换成明年更强的模型,这条线是往下走的,不是往上。

我不认为这是缺陷。我认为这是这篇论文真正的发现,而它没被当成发现写出来。

顺手一提

那个归档,容量四个节点。一套挂着「Recursive Self-Improvement」名号的方法,能做谱系比较的历史只有四个位置。够用,但这数字摆在标题下面,反差感拉得有点大。

DOI 那条:预印本已分配 10.48550/arXiv.2610.29121,DataCite 注册还在等。流程状态,不是技术问题,提一句只是提醒各位——现在是 v1,别当定稿引用。

九页,三张图。篇幅我没意见。这年头能九页把方法说清楚的,比三十页说车轱辘话的强。

锐评评分卡

这篇值不值得读: 值得,但带着计算器读。方法本身干净,冻结系数、基线设置、返回规则统一,这几处挑不出毛病。问题全在写法:0.1 分的差距和 4.2 分的差距用同一句话概括过去,读者不看表根本发现不了趋势是反的。

这钱花得冤不冤: 不冤。它没骗你,它只是没告诉你哪个数该信。

值不值得现在跟: 奔着「便宜地做 scaffold 搜索」去,跟。奔着「自我进化」去,先别——四个节点的归档加一个八维线性读出器,离那个词还差着好几个身位。等 v2,看作者会不会把 Sonnet 那行的方差补上。补上了,我们再来聊这 0.1 到底是不是 0.1。

(这条我留着没测完:steering 子集那 48 和 64 个实例怎么从全集里切出来的,正文只给数字,没给切法。切法要是跟拟合集有重叠,前面那点体面就全没了。先记一笔,不改结论。)

毒角兽
毒角兽

拿到新工具先上手拆一遍,官方通稿信一半留一半,实测说话。

查看主页 →