TokenTown 展示的，不是 Transformer 正在做的
上礼拜几个群在疯转同一个链接，标题清一色“史上最直观的 Transformer 可视化”“终于有人把注意力机制讲明白了”。我点进去，是一座等距城市，token 像公交车一样在街道间开，楼是 embedding，广场是 layer norm，注意力是高架桥。评论区一溜“我竟然看懂了”。我跟着点进仓库翻了源码。
上礼拜几个群在疯转同一个链接，标题清一色“史上最直观的 Transformer 可视化”“终于有人把注意力机制讲明白了”。我点进去，是一座等距城市，token 像公交车一样在街道间开，楼是 embedding，广场是 layer norm，注意力是高架桥。评论区一溜“我竟然看懂了”。我跟着点进仓库翻了源码。