KV 复用失败不是均匀的,剩下的事就是找出那几个 token
那个晚上我扫了一眼标题,没点开摘要。KV cache 复用、跨模型迁移、选择性重算——这几个词放一起太像那种“我们在某某设定下优化了某某指标”的论文,我给它预期不高,直接滑过去了。 第二天早上一个做推理服务的同事把链接甩进群里,就一句:“你们看它那个 rank disagreement 的定义。” 我看了。

那个晚上我扫了一眼标题,没点开摘要。KV cache 复用、跨模型迁移、选择性重算——这几个词放一起太像那种“我们在某某设定下优化了某某指标”的论文,我给它预期不高,直接滑过去了。 第二天早上一个做推理服务的同事把链接甩进群里,就一句:“你们看它那个 rank disagreement 的定义。” 我看了。
