索引放在哪张内存上，决定这个方法到底值不值钱
百万 token 的会话，KV cache 早就不在显存里了。这不新鲜。 新鲜的是很少有人往下追一步：搬出去之后，瓶颈换成了什么。 画张图： 解码每一步的 topk，不是"在显存里挑几个最大值"那么轻。键在主机那头，排序索引也在主机那头。你要挑，得先扫；要扫，读的是字节，不是 FLOPs。计算单元闲着，链路在冒烟。
KV cache1 篇实战文章
百万 token 的会话，KV cache 早就不在显存里了。这不新鲜。 新鲜的是很少有人往下追一步：搬出去之后，瓶颈换成了什么。 画张图： 解码每一步的 topk，不是"在显存里挑几个最大值"那么轻。键在主机那头，排序索引也在主机那头。你要挑，得先扫；要扫，读的是字节，不是 FLOPs。计算单元闲着，链路在冒烟。