先看两个数字。arXiv 2611.05609，上周挂上去的，七个作者，做的是多教师在线策略蒸馏，MOPD。我本来打算扫一眼摘要就过去，被这两个数留住了。
外推设置下，OPD 和 MOPD 的分布内得分，做到了教师分布内得分的 96.04% 到 102.73%。同一批实验里，分布外得分比基座模型低 2.45% 到 16.25%。
上一段的 102.73%，意思是学生比老师还高。下一段的“比基座还低”，意思是它连自己出发的地方都不如。这两个数放在一起，读出来的不该是“蒸馏有效，但仍有提升空间”，那太客气了。更接近真相的读法是：这个分数测的东西，跟你以为它在测的东西，压根不是一回事。
这篇讲完你能拿到一个判断蒸馏成绩的心智模型：哪些分是白送的，哪些分才真说明能力被搬过去了。
监督信号落在哪片地上
先把 OPD 在干什么拆开。说人话就是——让学生自己跑，老师站在旁边逐 token 纠正。学生采样出一条轨迹，老师在轨迹的每个位置上给一个“我这时候会怎么分布”的答案。学生的任务，是把两个分布拉近。
这跟拿一批老师写好的标准答案去做 SFT 不是一回事。轨迹是学生自己走出来的，这就是“在线”两个字的实际含义。至于具体用逆向 KL 还是正向 KL、要不要重要性采样、要不要对教师加权，各家实现不一样，我不打算在这里下判断。但无论哪套实现，“监督信号落在哪片地上”这件事是一样的。
关键在这个目标函数是对什么求期望：对 prompt 的分布求期望。你在哪些 prompt 上跑过，梯度就只在那些 prompt 上出现过。支撑集说人话就是——你这批 prompt 实际覆盖到的那片地方。这片地方之外，目标函数里没有任何一项能约束它该往哪走。
举个例子，纯示意。某个位置上老师的分布是 A 0.7、B 0.2、其余 0.1，学生的是 A 0.3、B 0.5、其余 0.2。loss 干的事就是把学生往老师那边拽。这个拉力只在“学生真的走到了这个位置”时才存在。学生没走到过的输入，就没有这个拉力，也没有替代品。示例到这儿，收回一般规律：蒸馏的监督是采样出来的，采到的地方有信号，没采到的地方没有信号，而“没信号”这件事不会在训练日志里报警。loss 一路往下走，看着一切正常，因为它是被采到的那部分样本的平均，没采到的地方压根不参与这个平均。
这里最容易被搞混的是：IND 分数高，被当成了“老师的泛化能力被搬过来了”的证据。它更可能只是“学生在老师演示过的那一片上，把老师的输出形状学得很像”。这两件事在分数上长得一模一样，在机制上差着好几层。
学形状，和学产生形状的那一步
打个比方。蒸馏像拿一批采样点去拟合一个函数。采样点上拟合得越准，IND 分数越高。但点与点之间、采样区域之外，这个函数长什么样，你的拟合目标从头到尾没约束过。
这个类比撑到“为什么 IND 分数不携带泛化信息”这一步是够的。再往下就不行了。参数更新不是“换一组基函数”，它是沿梯度方向整体挪动，挪一次，所有输入上的输出都跟着变，包括你根本没采样的那些。这一层类比管不了，得直接说机制。
于是就出现了 OOD 掉到基座以下这件事。注意，不是“没提升”，是“掉下去”。没提升是没帮上忙，掉下去是帮了倒忙。基座模型在那片区域原来有一个虽然粗、但大致合理的解。蒸馏的梯度把它往教师的方向推，而教师在那片区域本来就不准，那个粗但合理的解，就被换成了一个更准的错解。
还有一层，我觉得比这层更值得盯：学生在那片被监督的区域上，学到的东西未必是产生推理的那步计算，可能只是推理的表面形状。分步骤的排版、“先设未知数再列方程”这种套路、链式推理的长相——这些在 IND 上是充分的，因为它们本来就来自同一批分布。换到组合任务上，套路还在，套路背后那步计算没跟过来。
这是我的解读，不是论文的措辞。论文说得更保守，叫“能力整合不完整”。但数字是硬的：三种组合泛化设置里，MOPD 相对基座模型把 IND 提上去了，组合任务上的 OOD 却比最好的那个教师低 18.19% 到 24.34%。
组合泛化大体上是这么构造的：训练里分别见过 A 和 B，测试时要求把 A 和 B 接起来。用 Qwen3 系列在数学、代码、智能体、长上下文这四类能力上做，四类能力对应四片不同的 prompt 分布，接起来考，就是在考分布外的缝合处。缝合处恰恰是最没被采样到的地方。
两个瓶颈，是乘出来的
论文把差距归到两个瓶颈上：教师能力，和数据覆盖度。
翻译成大白话——一部分情况是那片区域老师自己也不灵，没东西可搬。另一部分情况是那片区域压根没被采样到，连信号都没有。两种不同的失败模式，表现完全一样，都是 OOD 往下掉。
作者的做法是把这两个口子同时堵上，然后 OOD 遗忘现象消失了。
这里的关键词是“同时”，不是“任意一个”。只解决覆盖度，你在更宽的区域上采样，采到的还是那个本来就不行的老师的答案，等于把错的东西铺得更广。只解决教师能力，老师变强了，但监督仍然只在原来那片区域，新长出来的能力照样没搬到外面去。
这两个条件是乘法，不是加法。少一个，乘积是零。
作者据此推测，两个瓶颈同时缓解之后，学生有可能拿到超过教师的泛化能力。这个推测我没法替它验证，但机制上不自相矛盾：如果学生在训练里接触到的输入比老师被采样的那片更宽，而老师在被监督区域上给出的信号又是对的，那学生在区域之外没有理由必须跟老师一样差。
更新几何这段，我说不满
全文最有意思、我也最不敢说满的一段，是对更新几何的分析。观测到的现象是，MOPD 产生的参数更新，平均幅度更小，在谱上更集中，而且 MOPD 下不同教师的更新在结构上共享程度更高。
“谱上更集中”说人话就是：更新的能量集中在少数几个方向上，不是均匀抹在所有参数上。这件事如果成立，能同时解释两件事。一是遗忘为什么是成块发生的，而不是整体均匀地退化一点点——能量集中在少数方向，那几个方向被挤掉，对应的能力就是整块掉的。二是为什么可以打补丁——如果跑偏的更新集中在少数方向，那就存在明确的方向可以去抵消、去投影掉，不用在全部参数上跟一个弥散的偏移硬搏。
作者那两个方法就是这么来的：基于几何的修补，加上保基座回放。后者更好懂，把基座原来吃的那部分数据掺回来一点，等于在采样区域之外补锚点，别让参数在外面乱飘。
（这层我讲的是相对主流的那个版本。谱集中和泛化之间到底是不是因果关系，业内也没完全说清，我不敢当定论。）
真正该被读的那一面
写到这里我要说点可能不太受欢迎的。
这篇论文最该被读的方式，不是“又一个多教师蒸馏的改进方法”。它那两个数字其实在打一种评测习惯的脸：在这个设置里，IND 分数几乎是结构性的免费品。你就是在老师的输出分布上做逼近，逼近得好是目标函数的直接产物，不是能力的证据。用这个数字宣布“能力整合成功”，跟用体重秤读数宣布一个人篮球打得好是一个级别的推理。
更麻烦的是，这不是一篇论文的问题。蒸馏这条线上的工作报告，默认报的就是 IND。原因也实在：OOD 没有统一口径，构造起来费劲，模型不同、任务不同，数字没法横比。于是形成一个很稳的局面——可以免费拿的分数被反复报告，真有信息量的分数没人报。这套激励下，MOPD 这类工作几乎注定会被写成“我们的 IND 更高”，而不是“我们的 OOD 掉了多少”。这篇论文的价值，大半在于它把前一个数字的含金量按下来了。
我自己读第一遍就读串了一处，顺手记一下：一开始我以为它在说蒸馏不如 RL，翻回去看不是。它说的是相对 RL 基线，(M)OPD 平均而言 OOD 遗忘更少。它没否定蒸馏，它说的是蒸馏这一类方法的报告方式有问题。
那两个补丁，我的判断是都治标。回放掺数据、几何上打补丁，动作都发生在跑偏之后，是往回拽。真解法作者自己在最后也点了：设计显式支持 OOD 保持与泛化的算法。
这话说起来轻。要在目标函数里加 OOD 项，前提是你得先知道 OOD 在哪儿，而 OOD 的定义本身依赖你怎么刻画“分布”，这一步又绕回去了。
再往下问一层，“能力整合”整合的到底是什么？是那批数据上的行为，还是产生那些行为的东西？如果是前者，多教师蒸馏的天花板就是在覆盖到的区域上最像教师的那个学生，跟教师本身会不会泛化关系不大，跟学生能不能泛化更没关系。
这个问题已经不太像工程问题了。这条留到下次展开。