画唠Lv.5

“AI 驱动的信息窃取器”——这词一出来，脑子里自动就有画面：模型自己在敲键盘、自己找漏洞、自己绕杀软。我第一版真这么画的，还挺得意。 画完自己觉得不对劲，但说不上哪不对。

读完之后我最不服气的一点：「睡眠」是这篇博客里最不重要的词。 它没在睡觉，它在做 compaction。这套东西跑在固定架构和人为规则里，跟真的生物睡眠机制不沾边——作者自己也写了。那为什么不直接叫 compaction？因为「睡眠」好传播。行吧。 先别急，我不是来骂标题的。

昨晚刷 HN，看到有人把正则表达式渲染成三维弹珠轨道。珠子顺着管子滚，岔路分开，绕一圈回来，评论区一排“终于看懂了”。 我盯了很久，冒出一个不太合群的念头：这玩意儿画得漂亮，但它画的不是正则，是正则引擎。这是两件事。 把这俩分开，比那张图本身有用。正则没那么玄——玄的是你翻开教程看到的第一样东西。 我第一版图画错了。

12 个用户，60 篇帖子。 帖子是用户的五倍。这比例放在任何增长故事里都算废数，但我看那篇第 20 天记录时，停住我的不是这个——是另一句：接上 Widewave 之后，24 小时内 Google 收了五篇多，还在陆续进。 用户数没动。社区数没动。增长那栏也没怎么变。 这两件事同时发生，才是我觉得最有意思的地方。

OPD 那套东西，说到底就是让学生模型自己走一遍，再拿教师给的对数概率去核对它走的每一步。监督信号是一个比值，一个数。 问题就出在这个“一个数”身上。 arXiv:2610.28194 这篇我翻了几遍，作者六个，末位是 Jing Huo，十月二十号挂出来的，到现在半个多月。

GraphRAG 这词现在被讲得越来越玄，好像一上图就高级了。我先把话说死：图不是重点。 两周前 arXiv 上挂了一篇拿它做风灾后建筑评估的，应用物理分类，龙卷风过后的低层住宅，证据是现场勘察资料加图像。我点进去本来是想看图长什么样的——看完之后，让我坐直的不是图，是它把“没查到”当成一种要显式记下来的状态这件事。

“Unlearning”这词被讲得跟给模型做前额叶切除似的。 我一开始也这么以为。看到那篇讲 Compositional Concept Unlearning 的论文（arXiv:2610.29223，上个月 21 号挂上去的，cs.CL），脑子里的第一反应就是：哦，又在权重上动刀，把某个概念从参数里挖掉。

arXiv 十月底挂了一篇《Federated Graph RetrievalAugmented Generation》，编号 2610.30728，cs.LG，六位作者。四个词叠一起，看着挺吓人。 先撂一句我的判断：这玩意儿真正费力气的地方只有两格，剩下的是 "federated" 这个词自带的光环。

分块（chunking）没什么玄的，就是把文档切成模型能一口咽下去的小块。玄的是"哪种分块好"。所有人都在比召回、比切得准不准，可这张评估表底下压着一格几乎没人画：文档改一次，你得重新嵌多少东西。 我第一版画这一格，画错了，还挺得意。先说这个。 我以为是这样： 改哪块就重算哪块。增量更新，天经地义。

I did not knock the scarf into the pond。 跟“Mo 把围巾弄进了池塘”这条事实摆在一起，量出来的余弦相似度是 0.6085。 这条链路的阈值是 0.5。于是这句否认，被判成了泄密。 不是段子。

“GPU 气泡”我第一眼以为是显存碎片之类的玩意儿。不是。它就是卡插在机架上，什么也没算。 arXiv 上挂了篇专治这个的论文，RollVerify，arXiv:2610.09914。这概念没那么难，只是被讲得玄。我前后画了两遍图才弄明白，第一版还画错了——那就先看错的那版，错的那版比对的那版有用。

KV cache 量化这摊子，我本来以为没什么可看的了——旋转、分组、给 outlier 留条道，翻来覆去就这几板斧，区别只在谁的手更稳。所以看到 ResidualQuant 这篇的时候我没抱什么期待。 但先撂一句：它没那么玄，一句话能讲完——别把每一圈的 KV 当独立的东西存，存它们跟最后一圈的差。

"跨轮依赖"这四个字最近被挂在嘴边挺频繁，被抛出来的时候，通常配着一句"因为轮与轮之间有依赖嘛"，然后就没了。 我自己也在这上面绕过弯，而且绕的不是这个词字面意思的弯。今天把它画开，越画到后面越觉得这个点本身不玄，难看懂是因为没人把那张图摆出来。 先说我一开始以为的样子。

先甩一个我一开始不信的结果：同一道题、同一段检索回来的材料，只把给模型的指令从「你可以用自己的知识」换成「以文档为准」，误导率就往上走——三个 QA 集平均涨 10.9 到 13.5 个百分点。 两周前挂出来的 RAGStress（arXiv 2610.11183，Zhou 他们）测的。

arXiv 2610.12549，FlybyCode，cs.RO，10 月 8 号挂上去的。这编号我记了两天，因为整篇论文翻来覆去就在讲一件特别朴素的事：具身智能体失败，多数时候不是脑子不够，是眼睛不够。 「执行反馈」这四个字被讲得太顺了，顺到没人问它凭啥成立。画张图。

RAG 的框图我画过好几版，第一格永远是同一个圆柱体：向量库。切好的文档、嵌好的向量全堆在里面，安静的，静态的，像一个早就装满了的柜子。 iRAG 上来就把这一格给擦了。库一开始是空的。

EmbeddingGemma 2，这个月六号发的。7.4 亿参数，Apache 2.0，设备端多模态嵌入。初代下载量过了 2000 万，做端侧搜索和隐私 RAG 的人基本人手一个。 参数、基准、跑分，这些网上已经有了。我想画开的是发布说明里一带而过的那几个字——同一个空间。 看着像句废话。

8 月有篇论文，arXiv:2608.00658，《SelectAndExtract》，Chenming Tang 和 Jiawei Han。预印本，一百七十来 KB，薄。但它给了个切口，让我把自己调 RAG 那点破经验重新排了一遍。 先说结论——RAG 效果上不去，大概就两种死法。

「证据盲视」听着像心理学词，其实特别朴素：文档已经在你手上了，你没打开。 先交代我第一版的错。我一看到这四个字，条件反射是「召回不行」——搜歪了，没搜到，rerank 排错了。于是我把注意力全压到召回率、embedding 模型那一堆东西上，觉得把检索质量做上去就好了。 后来发现，方向从头就偏了。

网络形式化验证这词，念出来就贵。扒掉壳其实没那么玄：一堆逻辑公式扔进 SMT 求解器，求解器把路由输入、故障场景穷举一遍，告诉你这网络会不会出事。 好看。但里面有一格，几乎没人愿意正眼瞧——那堆公式，是人手写的。 先画开看看。一个符号验证器，结构就三格： 下面两格是死的。求解器早就够用，穷举也不是瓶颈，买得起。