蒸馏到底是什么。
本质上是拿一个教师模型的输出，训另一个模型。传过去的是格式，不是权重。
这周这个词满天飞。被讲反了。
上周那篇 dev.to 上的长文，标题我没记住，内容值得收。
简单说，白宫 OSTP 那边有人指控 Moonshot 蒸馏了 Anthropic 的 Fable 5，用来做 Kimi K3。财政部跟着提了可能制裁。
然后就没有然后了。到现在，一份技术证据都没拿出来。
这条我本来不想收。政治口水没什么好看的。真正值得收的是底下那层：把这事讲得最凶的人，多半不知道蒸馏是什么。所以才把一个大概率只传了格式的动作，说成偷走一整个模型。
下面是白话版。
一句话，蒸馏不是偷权重，是买一份答案抄格式
常见的做法，是拿教师模型生成一大堆输出，在开源基座上做监督微调。
关键是那份数据集里装的是文本，不是权重。你拿到的是它怎么想、怎么写，不是它怎么算。
打个不太准的比方。你抄了一个学霸的解题过程，抄到的是书写习惯和步骤结构，不是他的脑子。题一变，该不会还是不会。
这点有实验撑着。伯克利的 Sky-T1 团队去年做过一次破坏性实验，故意把训练数据搞坏。
把最终答案错的推理链拿去微调，准确率只掉 3.2 分。把推理步骤里的数字随机化掉一半，掉 3.3 分。
打乱步骤顺序，性能直接崩。
也就是，具体内容几乎可以扔掉，真正传过去的是结构。那篇论文的标题就是这个意思：重要的是结构，不是内容。
18 天
指控里还有个时间线问题，我看到的时候愣了一下。
按媒体还原的时间线，Fable 5 六月九号发布，十二号在出口管制下暂停，七月一号恢复。K3 七月十六号发布。
中间窗口大概 18 天。
K3 的预训练必然早于这些事。真要说得通，只能是拿 Fable 的轨迹在已完成训练的基座上再补一轮后训练。
18 天够干这个吗。技术上不是完全不可能。但拿这个当制裁的理由，太薄。
闭源 API 那条路只有黑盒
蒸馏有两条通道。黑盒收生成文本，白盒收完整的下一 token 分布或者隐藏状态。
白盒要给整个分布，黑盒每个位置只有一个采样出来的 token。
推理端点不返回 logits。所以从 Claude、GPT、Gemini 这类闭源 API 做蒸馏，必然只能是黑盒。
白宫描述的正是这个场景。而这是唯一可用的通道。
黑盒能拿到什么。提示、思维链、答案。就这些。
这也解释了 2024 年 9 月 OpenAI 为什么要藏 o1 的原始思维链，理由里明写了竞争优势。他们想藏的是那个想的过程，不是结果。结果早就给你了。
一张 7.8k 轨迹的账单
有个公开记录的实测，比任何分析都说明问题。
在 Qwen3.6-35B-A3B 上，通过 OpenRouter 从 Kimi K2.6 生成约 7.8k 条推理轨迹，用 LoRA 做 SFT。只训注意力适配器，r=16，980 步，单张 H200 跑了 21 小时。
可训练参数 3.44M，整个模型 35.1B。占比 0.01%。
结果是这样。MATH-500 从 53.0 掉到 47.0。GPQA Diamond 从 79.29 掉到 75.25。
只有 GSM8K 从 64.0 涨到 92.67，将近 29 分。
作者自己分析，64% 这个基座分数本来就不合理，多半是 few-shot 模板没触发模型的思考模式。所以那 29 分衡量的是"它现在无论怎么问都会吐 think 块"，不是能力涨了。
他的结论写得很实在：没有证据表明蒸馏提升了基座的原始推理能力，但它确实保证了模型不管提示长什么样都会输出思考块。
回到我开头那句。偷到的是格式。
成本这笔账
顺便说下账单，这条普通人以后会碰到。
Kimi 的轨迹平均 2933 个 token，可比的 Claude Opus 4.7 轨迹集平均 849 个。同样行数要 2.5 倍算力。
另外 Kimi 这个模型要常驻大约 1.4 TB 高速内存。这不是个人能自己跑的规模。
反过来看便宜那头的。斯坦福 s1-32B 用了 1000 条精选 Gemini 轨迹，16 张 H100 训 26 分钟，云价大概 25 美元。
s1 总共 1000 条样本，LIMO 用了 817 条。
所以真不是把前沿实验室的知识搬进小模型。更像把基座里本来就接好的开关打开。
一条我只看懂一半的
有篇去年 12 月的论文做溯源追踪，拿教师模型、原学生模型、蒸馏后的学生模型三个东西给每句话打分，分成四类：教师来源、学生来源、两者共有、蒸馏放大。
结论是教师来源的行为确实出现在没见过的测试语境里，而且和正确率相关。但蒸馏模型的输出里，很大一部分只是被放大的学生内部模式。
而且不是所有放大都有益。
论文我没读完，先放在这里。等我搞明白再补一句。
有人会问，那这东西到底该不该管
我一开始想写"别恐慌"。后来觉得不对。该恐慌的不是普通人。
训练数据从哪来、用了多少次接口、算不算违反服务条款，这些是真问题，该有人问。但它们和"偷了模型能力"是两码事。
有评论者在那篇文章底下报告过一个数字。冻结同一个 Opus 4.8 的权重，只换外部脚手架，Terminal Bench 从 78.9 升到 85.4。模型权重逐字节相同。
权重一个字节没变，分数差 6.5 分。
所以只看分数，根本分不清是蒸馏带来的格式迁移，还是脚手架带来的结构迁移。要下判断，至少得同时给出模型字节、脚手架版本和运行契约。
这三样，那份指控里一样都没有。
本周就这些。
上面有任何一条你试过、或者觉得我讲错了，欢迎告诉我。讲错的我补，没讲清的我改。
下周见。