跳到主要内容
那 10 个绝对 F1 点,不是模型挣来的

那 10 个绝对 F1 点,不是模型挣来的

毒角兽
毒角兽

· 阅读约 5 分钟

先说结论:这篇论文最漂亮的数字,是人写出来的,不是模型算出来的。

arXiv:2610.28311,Amit Lisha 和 Reut Tsarfaty,10 月 20 号挂上 cs.CL。题目《From Abstraction to Action》起得有气势。剥开看,问题很朴素:让智能体「把积木堆成金字塔」,它得先猜你说的是哪种金字塔,再把一句抽象话拆成一串具体动作。抽象层级一高,模型就掉分。这条不是他们发现的,是他们引来的。

他们干的事是往中间塞一层。DSL,带文档的原语,每个原语是个能复用的抽象名,可以展开成具体动作。

思路很顺。问题出在结果那张表。

三组结果摆一起,是三个不同的故事:

人工整理 DSL + 代码生成:  +10.0 F1(绝对值),仅高抽象层样本,触顶人类水平
纯代码生成(无 DSL):      稳定增益,幅度有限
模型自归纳 DSL:            部分增益,跨 run 不稳定,低于人工版

第一行是卖点,也是会被截图转发的那一行。

请看清定语:人工整理。人手写好的 DSL,配上代码生成,才有这 10 分。而且这 10 分主要落在抽象层级高的那批样本上,低抽象层几乎没动静——指令本来就说得具体的时候,你再塞一层表示,纯属添乱。

第二行是模型自己干的事。代码生成比直接推理稳定地好,这条我信,也不是头一回见。但它的幅度撑不起「解决抽象难题」这种叙事。

第三行才是新闻,没人愿意转。

模型自己从领域数据里归纳 DSL,只拿到部分增益,跑一次和跑一次不一样。作者没藏,明写这是短板,是社区该重点推进的方向。话说得挺老实。

老实的说法架不住摘要把定语吃掉。

作者原话是「恰当的表示层能够消除高抽象带来的大部分性能差距」。一个字都不假。但「恰当的」这仨字底下该有个括号:人工整理,每换一个领域重写一遍,重写的人得懂这个领域。

这个括号会在下一篇 related work 里被顺手删掉。

说穿了,表示层是外部注入的先验。这 10 分测的其实是「人写 DSL 的效率」,不是「模型解释抽象的能力」。两件事在一张 F1 表里压成同一个数,这就是我最不服的地方。消除差距的是那个人,不是那层表示!

得说句公道话。我一贯不太信「加个中间层就好了」这类方案,之前见过的几版把自然语言翻成某种伪代码再执行的活儿,多数是把 prompt 换个马甲,同一批测试集上跑分涨一点,换张表就还回去。这次不一样——他们在 Text2CAD 上复现了同一个模式。跨任务同一个模式,说明这层东西不是在拟合某一个 benchmark 的评分口径。这条我认,往好的方向打脸。

但「复现同一个模式」还有另一半意思:每个新领域都得重新请人写一遍。Hexagons 一套,Text2CAD 一套。这不是白捡的,这是把成本从推理时挪到标注时,从 API 账单挪到人力账单。

再说「触顶人类水平」这个上限。

按抽象程度分级评分的视觉 grounding 任务,能做到人类水平,听着挺唬人。可合成环境里的人类上限,和一堆历史遗留代码、跑了一半的容器、命名混乱的接口里的人类上限,不是一个高度。我不怀疑他们报的数,我怀疑这个天花板本身的高度。

这条我还没测完,先别信我这半句。他们的代码我没跑,以上全是读表和读方法读出来的——所以下面这个实验只是我想做、还没做的:把人工 DSL 劈成两半,一半保留完整文档,一半只给原语签名、说明删掉,看那 10 分掉多少。掉得多,说明真正的成本在命名和文档上,不在 DSL 这个形式;掉得少,才轮到形式本身记功。这个消融他们没做。

我猜会掉不少。

说回那份「不足」。作者把「自动归纳 DSL」推给社区当后续方向,措辞很客气。翻译过来:这活儿目前只有人能写,人不便宜,每换一个场景还得再请一次。

这就是期货的定义。不是作者在画饼,是这个领域读论文的习惯替他们画饼——发布会话术和 paper abstract 一个毛病,最值钱的那句永远省略主语。

锐评评分卡:

  • 「代码生成稳定优于直接推理」——真,可复现,这条不冤。
  • 「+10 绝对 F1」——真,但定语是人工整理。转述时把定语吃了,等于自己给自己上滤镜。
  • 「消除高抽象带来的大部分差距」——半真。差距是被那个写 DSL 的人消掉的。
  • 「模型自归纳 DSL」——期货。跨 run 不稳定就是现在不能用,等能稳定复现了再吹。

这钱花得冤不冤?不冤。论文值得读,尤其那张按抽象层级拆分的表,比摘要诚实得多。

值不值得现在跟?看你的场景。抽象指令占大头、领域固定、还养得起一个愿意写带文档原语的人,可以照一照。剩下的人先放着,等自动归纳那一栏不再是「不稳定」再回来。

毒角兽
毒角兽

拿到新工具先上手拆一遍,官方通稿信一半留一半,实测说话。

查看主页 →