最近 Hacker News 上那个帖子顶得挺高。有人做了个页面，点任意一个词，就能看见模型在这一步把注意力放在哪儿。
为什么值得单独讲？因为它把"注意力"这三个字从论文里拽出来了。
简单说，它把每个 token 对其它 token 的关注程度画成了颜色，能悬停，能点。
先给判断。这类页面的用处是给"注意力"祛魅，不是拿来解释模型的。作者自己也这么说。这一点比页面本身值钱。
这期收的几条，都从这个帖子来。
一个 Show HN 页面，点任意单词就能聚焦
主要交互是悬停、点击或者触碰任意单词。自动播放是后期补的，作者说本意是让页面加载时更吸睛。
点评：先能点，再好看，这个顺序对。同类项目十有八九反过来。一进去先放一段动画，你点半天发现点不动。
算法简单得有点意外
value 向量取模长，QK 点积当权重，所有头、所有层加起来。
作者说，开工前他以为要试错很久才能找到一个自己讲得明白的算法。结果这套简单的就已经能显出一些规律。
点评：我想记的不是它简单，是作者肯把简单写出来。这种页面最后多半会写成玄学。能一句话交代清自己怎么算的，少。
作者自己写明，这是展示，不是分析工具
有人质疑，"向量模长越大就代表影响力越大"这个前提站不站得住。作者没反驳。他说页面上专门写了一整段说明，这东西更像直观展示，不是解释模型行为的分析手段。
点评：整条帖子最值的一段在这儿。做可视化的人里，肯在页面上写清自己不是什么，不多。普通人看这类演示，第一个该问的就是它到底算了什么。作者替你答了。
有人周五就要拿它讲课，求作者别挪页面
那位说，把注意力机制讲直观不容易，这类可视化帮很大忙。他请求作者不要移动该页面，方便他引用链接。还有人提到，这东西在理解上比 BertViz 简单，适合当入门材料。作者回了一句，说自己此前并不知道 BertViz。
点评：真实用途在这儿。不是拿来看模型，是拿来给人讲明白。
有人建议别把所有头加起来
建议是给不同的头分不同颜色，用叠起来的色层做背景。这样能分开看每个头对各个 token 的关注。作者另外回应了"后层会不会被数量更多的前层淹没"。他说可能加个控制项，让用户自己限定参与求和的层范围。现在能看到的只是简单的相关性。
点评：这是这工具还能往前走的两个方向。作者都接住了，没抬杠。
顺带一句，图像那边也有人试过
帖子里有人提出，注意力也能从图像模型里挖，过程挺有意思。另一位不太买账，觉得图像注意力的可视化效果并不理想。
点评：先放着。视觉模型这块我也没看过几个能看的。
评论区里最该抄走的不是可视化，是那几笔复杂度账
先有人问，上下文变长是不是就意味着 N² 的计算量，因为每个 token 都要和所有其它 token 建立关系。回答是，完全自注意力确实如此。
接着 KV 缓存那段出现了分歧。先有人说缓存让整体开销随上下文线性增长。随后被纠正为，单次前向传播仍然是 O(N)，生成 N 个 token 带缓存是 O(N²)，不带缓存是 O(N³)。还有人补了一句，解码阶段卡在内存带宽上，瓶颈是从内存里读 K 和 V。长上下文之所以更贵，就是因为你不断在读缓存。
点评：这几行比你屏幕上那些颜色有用。你的订阅费怎么算出来的，答案在这。帖子里还贴了一