跳到主要内容
LoopLM 这篇论文,「不需要外部教师」是水分最大的一句

LoopLM 这篇论文,「不需要外部教师」是水分最大的一句

毒角兽
毒角兽

· 阅读约 5 分钟

先说结论:LoopOPD 这个思路我认,但摘要里那句「不需要外部教师,也不用特权信息」,是整篇里最经不起验证的一句。

教师没消失。换了个位置坐着。

他们把 LoopLM 自己跑满终端循环的那一版输出固定成一个模型,再拿它当中间循环学生的教师。同一套参数,同一个模型,多的只是几步额外前向。这也叫没有外部教师?这叫把算力当教师!

同行都懂,区别不在这里。自我改进这条线上,关键从来不是“有没有外部模型”,是监督信号里有没有独立于学生的新信息。外面请一个更大的模型,信息是外来的;自己身上多跑几步得出一版,信息是内生的。内生本身不是问题,前提是你得先证明“多循环几步确实比少循环几步强”,否则整个框架站不住。

偏偏这条前提,是论文自己要证的东西之一。循环论证的味道,很冲。

我不是说这条路走不通。我是说摘要那句话把“没有外部模型”和“没有外部信息”混成了一件事,读者扫一眼就过去了。

话是刻薄了点。方向本身不蠢——比再去租一个更大的教师模型现实得多,也便宜得多。这句是真心话,不是找补。

on-policy 蒸馏那个老毛病,这里也躲不掉:轨迹是学生自己跑的,错也是学生自己犯的。教师是同一模型多想几步的版本,学生踩的坑,教师大概率也踩,只是浅一点。纠错的上限就被那几步额外计算锁死了。这不叫无限自我提升。

真正的看点在 D-LoopOPD 那一步。固定住的教师用着用着会失效,学生会追上去,所以他们在更新参数的同时,不停刷新终端循环教师。这个动作是对的。也是整篇里唯一让我觉得“他们确实想到了”的地方。

问题紧跟着就来。教师和学生共用同一套参数,在同一时刻更新,你凭什么保证刷新完的教师还比学生强?

他们写的是「持续刷新以支持循环式自我改进」。刷新解决了教师过期,没解决刷新完以后它还是不是老师。

刷新频率是多少,刷新之后用什么指标确认教师还压得住学生,摘要里没有。这些不是细节,这是承重墙。

这条我还没测完,先别信我这半句。

再看实验。公开材料里我一个人能看到的基座模型就一个,Ouro-Thinking。一个模型,一类数学数据,摘要里写出「循环计算可作为 LoopLM 的有效监督来源」。一个基座模型,撑一句适用于所有情况的一般性结论,这不叫谦虚,这叫捧杀自己!

还有那句「仅用数学数据训练,通用推理和代码生成也有提升」。这句几乎像科幻小说。

数学和代码之间的正迁移,做过 instruction tuning 的都见过,不新鲜。关键是基线是什么。对照组要是完全没做后训练的裸模型,那任何后训练都能在代码上捡几分。这个提升跟他们这套跨循环蒸馏有多大因果关系,得靠消融实验来说明。公开摘要里看不到。

claim: 无需外部教师/特权信息   -> 教师位置换了,仍在同一模型内部
claim: 仅数学训练,代码也涨     -> 基线未明,因果未拆
claim: 代码与 checkpoint       -> 接收后发布,现在照不了

理论那块也一样。28 页、8 张图,按篇幅配比估,方法部分撑不了这么多页,大头在分析。分析给的是充分条件,结论落在“局部”两个字上——单次更新能在两个循环深度上各自带来局部改进。局部改进和“这个模型整体更强”之间,隔着好几步。充分条件在附录里通常还要配一堆光滑性和小学习率的假设,那些假设在真实训练里成不成立,是作者需要解释的事,不是我的事。

我还得说一句:充分条件最容易被读者当成保证。它不是。它是“只要满足这些条件,就会往好的方向挪一点”。这类结论我见得多了,挪一点和能拿去用,中间差着十万八千里。

最后一条,最实在。代码和 checkpoint,等接收后放。🙃

接收结果要等 ICLR 2027。这套东西我最快也得明年才能真动手测一遍。在那之前,所有“提升了多少”的数字,都是作者自己家的账本。

这套流程我不是第一次见。上次被某个“即将开源”的承诺吊了小半年,最后仓库里只放着一个 README 和一张架构图。

所以现在能测的只有文本自身的逻辑自不自洽。我照了一遍:核心声称里的“无外部教师”只是换了一种说法;“仅数学训练也涨”缺基线;理论给的是局部充分条件;代码还是期货。

这个圈子里,发论文不是问题,把论文摘要当通稿发才是问题。跑分只信自己复现的,别人的榜单我当娱乐版看。

锐评评分卡:

  • 思路:值得跟。把“多想几步”当免费监督,这条方向比堆外部教师模型聪明,给分。
  • 「不需要外部教师」:话术层面的替换,扣分。
  • 实验覆盖:一个基座模型撑不起一般性结论,扣分。
  • 理论:充分条件 + 局部改进,有参考价值,证明力弱。
  • 代码与 checkpoint:未交付,谁都复现不了,照不了。
  • 值不值得现在跟:读,别引。等它放出来,等第二个、第三个基座模型的结果再说。

这波不算冤,但也绝对没到值得你到处转发的程度。

毒角兽
毒角兽

拿到新工具先上手拆一遍,官方通稿信一半留一半,实测说话。

查看主页 →