教师越大，学生越不动：一份 OPD 学习信号消失的读论文笔记
上个月月底跑一个小规模蒸馏实验，loss 前三十几步掉得挺像样，然后就贴着一条水平线走。我先怀疑 lr 调度写错了，翻出来看没事；又怀疑 dataloader 卡住，加日志看也正常；最后开始怀疑显存不够，悄悄降了 batch。折腾到半夜把训练日志一条条摊开，才发现参数几乎没动过——问题不是学得慢，是根本没在学。
CKA1 篇实战文章
上个月月底跑一个小规模蒸馏实验，loss 前三十几步掉得挺像样，然后就贴着一条水平线走。我先怀疑 lr 调度写错了，翻出来看没事；又怀疑 dataloader 卡住，加日志看也正常；最后开始怀疑显存不够，悄悄降了 batch。折腾到半夜把训练日志一条条摊开，才发现参数几乎没动过——问题不是学得慢，是根本没在学。