前几天翻 arXiv，看到一篇 8 月 11 号挂出来的论文（编号 2608.13607），讲模型版本更新之后怎么预测「单样本回归」。这个问题我自己踩过：升级模型之后跑一遍评测集，整体分数涨了，皆大欢喜，结果仔细一对答案，发现有几个之前答对的样本这次答错了。当时我的处理方式是耸耸肩——整体涨了嘛，正常波动。这篇论文做的事情，就是把这个「耸耸肩」变成一个可以量化、可以预测的问题。读完之后我最大的感受是：置信度这个东西，比我以为的更不可靠。
先把论文的核心设定用自己的话复述一遍，也算是检验我是不是真读懂了。所谓样本级回归，指的是模型从旧版本更新到新版本之后，整体指标在涨，但个别样本的答案由对变错。论文比较了两类信号：一类是单模型信号，只看新模型自己的输出，包括置信度、logit 边际、注意力熵；另一类是跨版本信号，要同时看新旧两个版本，包括输出 KL 散度、似然漂移、token 级 KL 和表示漂移。预测目标不是「这个样本会不会错」，而是「这个样本有没有回归风险」。实验覆盖了六个基准，横跨多项选择问答、数学推理和代码生成三类任务，用了六组模型更新配对。
我真正想记下来的是两条结论。
第一条：没有任何一种信号在所有模型更新配对里普遍最优。这个结论乍一听像废话——「没有银弹」嘛，谁不知道。但拆开看具体任务就不一样了：置信度在多项选择问答和比较简单的数学任务上是最强的信号，而到了较难的数学和代码任务上，反而是似然漂移和 KL 类的跨版本信号更常带来增益。也就是说，你最习惯用的那个信号（大概率是置信度，因为它最便宜），恰恰在你最需要预警的任务类型上最先失效。原理是这样：难的任务本来置信度就低，答对答错置信度都不高，它就失去了区分能力。
第二条，也是我觉得最有实用价值的一条：部分跨版本信号在置信度失效的时候仍然有信息量，而且不需要标签就能用。不需要标签这一点值得单独划出来——意味着你可以在上线新版本之前，拿一批无标注的真实流量跑一遍新旧两个模型，算一下输出分布的漂移，就能圈出一批高风险样本。论文据此提的方案是把高风险样本回退到旧模型去答，等于新旧两个版本混着用。这个思路我第一反应是「这不就是模型路由嘛」，但仔细想想它比一般路由保守得多：默认全走新模型，只有漂移大的样本才回退，这比按任务或按难度分流要精细。
实验方法上有一个细节我想记一下，因为它解释了为什么这些结论可信。他们没有直接比各信号的 AUC 之类的指标，而是用了一个统一的「增量价值」测试：以置信度作为基线参照，看每种信号在基线之上还能带来多少额外收益。这个设计很关键，因为置信度本身就是一个不弱的免费信号，如果直接比原始预测能力，很多信号看起来有效，其实只是把置信度已经包含的信息重新包装了一遍。隔离掉基线之后剩下的增益，才是这个信号真正独有的贡献。我之前看类似论文经常被这一点糊弄过去，这次算是学到一个自检方法：以后看到「XX 信号能预测 YY」的结论，先问一句，控制住置信度之后还剩多少。
顺便说一个我自己的教训，和这篇论文直接相关。几个月前我们组里升级过一次模型，评测集整体涨了两个点，我就直接放行了。后来用户反馈才发现有一个具体场景的输出质量明显下降，翻回去对答案，那个场景下回归的样本不少。如果当时算一下新旧版本在那个场景上的输出 KL 散度，大概率能提前圈出来。当然这是事后诸葛，当时我连「样本级回归」这个概念都没认真想过，只盯着聚合分数。聚合分数有个天然的毛病：它把「新学会的」和「新弄丢的」加总在一起，只要前者多于后者就是绿的。这篇论文做的事，本质上是把被加总掩盖的那一半单独拎出来看。
写到这里我得坦白一个没完全想明白的地方：表示漂移这个信号，论文里说有效，但具体怎么从表示层面定义「漂移到什么程度算高风险」，我翻了半天也没琢磨透他们阈值是怎么定的，这一段我是似懂非懂。先留一个坑，等哪天真的要在自己的 pipeline 里实现一遍，再回来补。
实操层面，如果照着这篇论文做一个最小可行的版本，我会这么拆：
- 拿到新旧两个版本的模型，准备一批无标注的线上样本，几百条就够起步。
- 两边各跑一遍推理，保存输出分布。
- 对每个样本算 token 级 KL 或者输出 KL 散度，取漂移最大的前 5%-10% 作为高风险集合。
- 高风险样本人工抽查一小批，确认漂移和真实回归的相关性。
- 确认相关之后再上回退逻辑，没确认之前只报警不回退。
第 4 步没法省。论文的结论是在他们的六组配对上得出的，换到自己的模型和自己的任务分布上，信号有效性很可能换一副面孔——连他们自己都没找到普遍最优的信号，凭什么到了我们这儿就有。
划重点：第一，模型升级后只看聚合分数是不够的，样本级回归被加总掩盖了，等用户反馈才发现就晚了；第二，置信度在难任务上最先失效，跨版本的无标签信号是更值得补的一道保险；第三，看「某信号有效」的结论时，先问控制住置信度基线之后还剩多少增益；第四，无标注就能算漂移，意味着这件事可以在上线前做，成本不高。这篇就记到这里，等我真的把 KL 漂移那条流水线跑起来，再回来写续篇。