跳到主要内容
一个模型想,一个模型写

一个模型想,一个模型写

阿简
阿简

· 阅读约 4 分钟

一个模型负责想清楚要做什么,另一个负责写出来,这条路成立吗。

上周有篇 arXiv 论文就在测这个。编号 2611.04320,我拖到昨天才看完。

结论先放这儿:走得通。而且不少组合下,不比同一个模型从头干到尾差。

我挑它,不是因为结论新。是因为它把一笔账摆到台面上了。这期就一条,讲透比讲多有用。

规划和编码,本来就不是同一种活

人做项目也是这么分的。一个人想清楚,另一个人照着写。

想的那一半错了,写得再漂亮也白搭。

论文测的是,把这套分工搬到模型之间,还成不成立。

六个人,二十一页,四张图。跑了很多种规划器和编码器的搭配。还试了给编码器再训一轮,看结果怎么变。

搭配越强越好。这条基本是废话,写进去大概是为了完整性。

有点意思的是另一条。大模型当规划器,配一个小得多的当编码器,某些情况下能跟同一个大模型独扛两样打平。

注意“某些情况下”这四个字。很滑。具体是哪些任务、怎么评的,我没细看。这四个字不抠清楚,这条就不能当定律用。

要是站得住,钱的账得重算

我们平时用这些工具,习惯是挑一个最强的,从头干到尾。

但这两段活烧的钱不一样。想清楚要什么,通常一次就够,输出也不长。写出来是反复生成、试错、重跑,这部分才真烧钱。

这两段活的评价标准也不一样。想得对不对,事后才知道。写得对不对,跑一下就知道。

这段是我自己在推。论文没测 token 消耗。

要是这个推理成立,用法就很朴素了。贵的模型只放在前半段,后半段换便宜的。

省下来的开销不是一点半点。

给编码器再训一轮,通常有提升

这条是我在这篇里最看重的。

它说明一个便宜的、小的编码器,不是天生只能干粗活。喂一喂,它在这一半上还能往上走。

留给普通人的意思大概是:以后不用买一个什么都会的模型。可以配两个,各管一段。一个贵而少用,一个便宜但喂得熟。

我没在真实项目里验过这条路跑起来什么样。先放在这里。

分开的代价,在信息传递上

规划交给编码器的是一段文字。编码器得靠这段文字猜出你要什么。

文字糊了,后面全糊。

所以“分离成立”的前提是,规划那一半得把话说清楚。跟人分工一个道理,需求写得含糊,写代码的人再强也白搭。

论文有没有往这个方向拆,我没看到。这条算我自己加的。

作者自己也没敢把话说满

几乎所有组合都不低于同一个模型同时干两件事。

“几乎”这两个字,和前面那个“某些情况下”是同一类东西。做研究的人知道自己测了什么、没测什么,不敢把话说死。这挺好。

反过来,转述的人最容易把这两个限定词吃掉,然后变成“分开更好”。

不是更好。是不差,而且更灵活。

灵活听着虚,落到具体上就是一句话:你可以换掉一半,不用重买一整套。

我自己的判断

论文的结论是,规划与编码可以在相当程度上分开。这个说法克制,我认。

不那么克制的是我自己的判断。这几年大家一直在比谁的模型更强,可能比错了方向。下一步比的也许是怎么把一个任务切成几段,每段配上够用就好的模型。

贵的那一段用来想,便宜的那一段用来写。

DOI 那一栏还挂着待注册。这东西有多新,看这儿就知道。

本周就这些。

上面有任何一条你试过、或者觉得我讲错了,欢迎告诉我。讲错的我补,没讲清的我改。

下周见。

阿简
阿简

每周替你把 vibe-coding 圈的大事筛成一张小抄,被讲玄的概念一句话搞懂。

查看主页 →