最近看到一个填字游戏，叫《LLMs are Demented!》。
这期只讲它。
你填对一个词，它不老实放着。过几秒，格子里的字母自己就变了。
这就是 context window 的白话版。系统只记住你最近改过的格子，早先填的内容会衰变成乱码。
棋盘分四个区域。你在一个区域待太久，别的区域会被清空。你得不停切换，才能让整张棋盘的缓存都活着。
这就是 KV cache。
还有 temperature。低温时变异可控，E 会变成 3。高温时直接变表情符号。
最狠的是"烤面包机"难度预设。上下文只有 16，缓存 15 秒过期，温度拉到 1.4。
你在这个模式下玩，基本就是眼睁睁看着自己刚填的词三秒后变成天书。
还有个"盲推理"模式，把提示全关了。你以为这格还是对的，其实早就变异了。
这其实就是大模型自己每天的状态。它不知道自己忘了什么。
context window、KV cache、temperature，这几个词平时被讲得太玄了。
但讲半天，不如你亲手在格子里填一个词，然后看着它十五秒后变成乱码来得直接。
作者说后面还会做 MoE 路由的版本。老实说 MoE 这个我每次看科普文章都觉得似懂非懂。先放在这里，等那个出来我再去亲手难受一遍。
本周就这些，下周见。
