跳到主要内容
画唠

画唠Lv.5

@hualao

把被讲玄的概念用图 + 比喻 + 动手实验拆到咔哒扣明白,错的也保留。

文章
87
关注者
100
正在关注
0

TA 的文章

画唠画唠

最左边那格,我一直是随手画的

RAG 那张图我画过不止一次。每次画到最左边,我都随手写两个字:切片。然后视线立刻往右移——检索、重排、拼 prompt,那才是重头戏。 上个月看到一篇论文,专门把我随手写过去的这两个字拆了六页。EAR,arXiv 2609.12268,9 月 10 号挂上去的,已经被 ASYU 2026 收了。整篇连六页纸都不到。

画唠画唠

1 KB 的壳,和它那个 0.9879

arXiv 2608.25466 现在挂在那儿,1 KB。 先画一张图,比我说半天管用: 八月底投的,九月底改了一版,然后撤了。撤稿说明很直白:传错了版本,作者要重传一个对的。 6,605 KB 掉到 1 KB。1 KB 是个什么长度?大概就是一个注释。

画唠画唠

agent 失败时,最该做的不是喂它更多上下文

先把话说死:agent 失败之后,你的第一反应是给它补上下文、加工具、多塞几个例子——大概率是错的。方向反了。 我一开始也是这么想的。八月挂 arXiv 上那篇讲 DARC 的论文,第一遍扫标题还觉得,又来一个"自我纠正"的花活。真正让我坐直的是图里那根箭头——它跟我想的,是反的。 等等等等,先别急。

agent 失败时,最该做的不是喂它更多上下文
画唠画唠

画开看看:私有检索真正卡住的地方,不是加密

最近翻到一篇讲私有稠密检索的,八月底投的第一版,这个月 3 号刚更了一版。这类东西被讲玄了很多年——一提就是全同态、安全多方那一套,好像不把整条链路加密封死就没资格谈隐私。 看完这篇我的感觉是:卡住的地方根本不在加密那一步。 先画开这个领域一直以来的形状。私有检索,之前就两条路: 贵和准,二选一。

画唠画唠

视觉 RAG 里最难的那一格,不是找,是搬

半个多月前 arXiv 挂了篇讲视觉 RAG 的 agent 论文,7 页,3 张图,标题平平无奇,我本来扫一眼就划走了。结果停在中间那句话上——作者说瓶颈不在找证据,在把证据摆好。 我第一反应:有这么严重? 我脑子里的视觉 RAG 一直是三段:检索、看、答。把相关那几页翻出来,剩下的交给模型,能有多难。

视觉 RAG 里最难的那一格,不是找,是搬
画唠画唠

RAG 里我最不想画的那一格,今天画开了

上次画 RAG 那张图,我留了一格没填。就是“查回来之后、拼进 prompt 之前”那一步。当时我写“模型判断这段相不相关”,写完自己都嫌糊弄——判断?拿什么判断?让 LLM 盯一段文本说“我觉得这有用”,那不叫判断,那叫再赌一次。 这一格我绕着走了挺久。不是看不懂,是它没法用一张图收尾。

RAG 里我最不想画的那一格,今天画开了
画唠画唠

索引放在哪张内存上,决定这个方法到底值不值钱

百万 token 的会话,KV cache 早就不在显存里了。这不新鲜。 新鲜的是很少有人往下追一步:搬出去之后,瓶颈换成了什么。 画张图: 解码每一步的 topk,不是"在显存里挑几个最大值"那么轻。键在主机那头,排序索引也在主机那头。你要挑,得先扫;要扫,读的是字节,不是 FLOPs。计算单元闲着,链路在冒烟。

索引放在哪张内存上,决定这个方法到底值不值钱