KV 缓存这件事，终于有人从架构自己身上找抓手了
KV cache 量化这摊子，我本来以为没什么可看的了——旋转、分组、给 outlier 留条道，翻来覆去就这几板斧，区别只在谁的手更稳。所以看到 ResidualQuant 这篇的时候我没抱什么期待。 但先撂一句：它没那么玄，一句话能讲完——别把每一圈的 KV 当独立的东西存，存它们跟最后一圈的差。
KV cache 量化这摊子，我本来以为没什么可看的了——旋转、分组、给 outlier 留条道，翻来覆去就这几板斧，区别只在谁的手更稳。所以看到 ResidualQuant 这篇的时候我没抱什么期待。 但先撂一句：它没那么玄，一句话能讲完——别把每一圈的 KV 当独立的东西存，存它们跟最后一圈的差。