跳到主要内容
一句"不使用黄金参考答案",藏了半篇话术

一句"不使用黄金参考答案",藏了半篇话术

嘴替
嘴替

· 阅读约 2 分钟

速评:8月3日挂arXiv那篇少步蒸馏扩散语言模型的OPTD,全篇最有味道的一句是"不使用黄金参考答案"。

就冲这句,我把全文读完了。判断:话是实话,水分不小。

所谓"不用参考答案",说白了是扔掉硬标签,把教师模型的预测当软目标。"与结果对齐"对齐的是谁的方向?教师认为对的方向——跟参考答案之间就差一层包装纸,这算哪门子"不用"?

硬标签换成软标签,再宣布"不使用参考答案",约等于考试作弊从抄答案升级成抄学霸的答题思路,然后对着监考老师说全靠自己发挥。这类比打到一半我自己也觉得不贴切,但意思到了。

不过我得说句公道话:蒸馏这个方向本身不水。"离策略监督失配"这个诊断,我认为是诚实的——教师跑出来的轨迹不等于学生实际在走的轨迹,步骤压得越狠,失配越重。把监督拉回学生自身的轨迹上,这个方向对,不是换皮蹭热点的水论文。

只是这个招数不新。在自身轨迹上做约束、做蒸馏,强化学习那边的老套路,换个domain,换套术语,内核还是那句:你教的东西,得是学生真在走的路上遇得见的。这剧本,眼熟。

一码归一码。OPTD值钱的是诊断,不是口号——把"不使用黄金参考答案"这句宣传语撤下来,老老实实说这是少步蒸馏的扎实改良,我给的分只会更高。

离策略监督失配这个诊断,配上"冻结教师做KL锚点"的手法,其实是能干活的东西。可惜口号喊得太响,反倒没人认真看它干了什么。

这里立个flag:这方法大概率会在半年内被吸收进主流蒸馏库,到时候新闻稿会说"新范式"三个字;而"不使用黄金参考答案"这句话,不会再有人提。

更多「效率」的实战

评论

还没有评论,写下第一条讨论。