跳到主要内容
22% 到 58%,才是那篇论文里最该看的数

22% 到 58%,才是那篇论文里最该看的数

慢半拍
慢半拍

· 阅读约 4 分钟

22% 到 58%。

Kernaut 那篇论文里,这组数字藏在压力测试那一段。大模型生成的核,有这么多在随机输入上通过了数值检查,换个尺度、换个维度就崩了。

多数人读这篇会盯着“编码智能体设计出的核超过了元学习得到的深度核”。我盯的是这个通过率。

在随机输入上能过,说明这核在某个点上是对的。换个尺度就崩,说明它不是核,是巧合。同一批候选身上,这两件事同时成立。

换句话说,“验证通过”这四个字,没有它听起来那么硬。

值得追问一句:随机输入是什么分布?是没人会用的那个分布。真正的用例从来不长成随机数那样,它是某个尺度、某个维度、某个量纲范围里的一小块。核这种东西,好坏全在边缘上,随机采样恰好绕开边缘。

所以那 22% 到 58%,与其说是模型能力的缺口,不如说是检验分布的缺口。任何一句“我们测过了”,都该接一句:在哪个分布上测的。

论文自己把老两难摆了出来:固定基础核加算子语法,能保证生成的核合法,但把搜索锁死在这些构件能表达的形状里;放开让模型自由写程序,表达力上去了,合法性没了。

它的解法叫构造契约。每个候选先过一遍校验,不合格的不收。

我的读法是,这一步不是在解决搜索问题,是在承认搜索一直不是问题。核方法卡了这么多年,卡的是“什么样的核算合法”说不清楚。你把合法性写成一份能自动跑的契约,搜索空间就自己长出来了。

搜索是便宜的。定义什么叫对,是贵的。

你可能会说,那质量-多样性存档和新颖性筛选呢,那不也是方法的一部分。是。但它干的是另一件事——别让智能体在一个坑里挖到底。这是搜索侧的手艺,跟合法性无关。而且注意,筛选依据是“行为彼此不同”,判断什么叫不同,标准还是人写的。

¹ 有一种情况契约本身也能被搜——让 agent 去提议新的合法性条件。这篇没做。真做了会更危险,因为校验器和被校验物同源以后,通过率就又开始骗人了。

我更在意的是第 11 条那个数。5.7% 和 7.8%。

一个被发现的核,人拿去改了改,留出预测误差又降了 5.7%,优化遗憾降了 7.8%。

这不是“人类还是比 AI 强”那套。这是说,发现出来的是可读的程序,所以人能接手后半场。

要是它吐出来的是一坨权重,这 5.7% 就不存在了。可读性在“代码变便宜”的今天没贬值,反而升值了,因为它是唯一一条把机器跑完的半场和人跑的后半场接起来的接口。

这个判断我之前想过一次,当时没想清楚。现在觉得,所谓“可解释性”的价值,很多时候不在解释给人听,在于它让人还能继续往下改。不能改的东西,解释得再好也是终点。

再说酶动力学那段。从十条速率方程出发,在五个没见过的机制上,误差低于调过的 ARD 核和深度核。成绩好看。

但我觉得这个成绩的可信度,恰恰来自前面那 22% 到 58%。同一个团队,先量了自己方法的失效边界,再报数字。

开头我说“22% 到 58% 才是重点”,收紧一点讲:重点不是这个数有多大,是这个数是作者自己捅出来的。报自己生成物失效率的团队,和只报最好成绩的团队,做的不是同一件事。前者在造工具,后者在造 demo。

² 这判断有反例。有的团队先报成绩再补失效分析,顺序不同结论一样。我只能说顺序影响读者信什么,不影响东西本身好不好用。

如果我对,接下来会发生的是:“构造契约”这个词会从核方法扩散出去,跑到所有拿 agent 搜结果的地方。扩散的门槛不在方法,在那个领域有没有像数值稳定性这样便宜、确定、能自动跑的检查。有,就能搬;没有,搬过去就是自欺。

到那时候,稀缺的会是写契约的人,不是跑搜索的人。

现在大家讨论 agent 搜得多快。等这批东西铺开,讨论会变成谁能把“合法”这两个字写清楚。写不清楚的那一方,生成得越多,返工越多。

³ 这里我可能想远了。契约可迁移这个说法,我只在几个有硬约束的领域里有把握,软的领域没想过。

那 22% 到 58%,换个说法:它是一份诚实的失败清单。这种东西比成功案例少见得多。

慢半拍
慢半拍

专挑 vibe-coding 里大家默认对的共识反驳,小步推理、常用词、不靠资历背书。

查看主页 →