跳到主要内容

RAG82 篇实战文章

画唠画唠

画开「证据盲视」:文档捞到手了,你没打开

「证据盲视」听着像心理学词,其实特别朴素:文档已经在你手上了,你没打开。 先交代我第一版的错。我一看到这四个字,条件反射是「召回不行」——搜歪了,没搜到,rerank 排错了。于是我把注意力全压到召回率、embedding 模型那一堆东西上,觉得把检索质量做上去就好了。 后来发现,方向从头就偏了。

画开「证据盲视」:文档捞到手了,你没打开
画唠画唠

最左边那格,我一直是随手画的

RAG 那张图我画过不止一次。每次画到最左边,我都随手写两个字:切片。然后视线立刻往右移——检索、重排、拼 prompt,那才是重头戏。 上个月看到一篇论文,专门把我随手写过去的这两个字拆了六页。EAR,arXiv 2609.12268,9 月 10 号挂上去的,已经被 ASYU 2026 收了。整篇连六页纸都不到。

画唠画唠

RAG 里我最不想画的那一格,今天画开了

上次画 RAG 那张图,我留了一格没填。就是“查回来之后、拼进 prompt 之前”那一步。当时我写“模型判断这段相不相关”,写完自己都嫌糊弄——判断?拿什么判断?让 LLM 盯一段文本说“我觉得这有用”,那不叫判断,那叫再赌一次。 这一格我绕着走了挺久。不是看不懂,是它没法用一张图收尾。

RAG 里我最不想画的那一格,今天画开了
阿简阿简

本周小抄:学生说真人更像,可产出更好的是模拟的

一个模拟出来的利益相关者,能不能拿来练需求访谈? 有篇论文就是冲这个问题去的。69 个学生,一半跟请来的真人聊,一半跟一个基于 RAG 搭的模拟利益相关者聊。 结果分成两截。 第一截很符合直觉。学生说,真人更真实,也更有参与感。 第二截反过来了。模拟那组,提的问题质量更高,功能识别的完整度也更好。

阿简阿简

本周小抄:五个人为什么把 AI 助手关掉

一个叫 PEARL 的 AI 学习助手,为什么会被玩家亲手关掉? 先说答案:不是因为它答错了。是它开口的时机不对。 这周本来能收五六条。最后只留下这一条。 一条 arXiv 上的论文,编号 2609.13718,九月十二号挂上去的,八页,已经被今年的 IEEE 游戏会议收了。

本周小抄:五个人为什么把 AI 助手关掉
阿简阿简

一句话搞懂 RAG 隐私泄露

RAG 会不会把你的资料漏出去? 简单说:会。而且不用黑进你的系统,会提问就行。 问题不在模型记不记得住,在检索这条通路本身。RAG 让回答有据可依、幻觉少了很多,这是它被广泛采用的原因。同一套机制反过来用,就是一个出口。 攻击者要的不是权限,是提问的入口。 拿到入口之后,他能从底层语料里一点点把个人可识别信息抽出来。

一句话搞懂 RAG 隐私泄露
钻牛角钻牛角

索引不动,调检索调个屁

十天前 ORDER 挂在 arXiv 上,2609.17012。我第一眼是真没想点进去。路由、检索增强,这俩词挨一块儿,我脑子里自动蹦十几篇同质化的东西。后来是扫到摘要里“同时调整索引和检索”这句,手又绕回去了。嘿,本来没打算开这头。 这堵墙我撞过。之前给一个历史文献检索的活儿做过东西,具体是啥不细说,免得你猜出来。

索引不动,调检索调个屁
毒角兽毒角兽

窗口开得越大,答得越烂

先说结论:这篇论文真正值钱的不是它推的 GCMem,是它顺手证明的那个 Majority Vote Trap——语义等价的冲突记忆里,把 context window 开大,生成准确率往下掉。 不是持平。是掉。 「窗口越大、塞得越多、效果越好」——这句线性叙事,在这条定理面前原形毕露。

嘴替嘴替

奖励模型从没被要求学会闭嘴,这篇论文把这笔账翻出来了

速评:9 月 13 号挂上 arXiv 那篇法律奖励模型论文,最值钱的不是摘要里那个 25.6。 是它顺嘴交代的一句话——现有奖励模型是照着通用偏好优化的,不是照着"该不该开口"优化的。读着像句自谦,实际把整条评估链的底给掀了。 奖励模型的训练目标是啥?人类标注员在两坨回答里挑一个更好的。

阿简阿简

本周小抄:两个来源吵起来的时候,信哪一个

AI 查了资料再回答,就一定更准吗。 不一定。 九月十四号 arXiv 上挂了一篇医学方向的论文,arXiv:2609.16301,三十一页。它处理的就是大家都跳过去的那一环:检索回来的证据互相打架的时候,信哪一个。 简单说,这篇讲的是裁决,不是检索。 这期本来想多收几条。

本周小抄:两个来源吵起来的时候,信哪一个
嘴替嘴替

科研 RAG 的卖点,正好是它掉分的地方

速评:这篇论文最该转的不是结论,是它自己招了在哪塌。 9月15号挂 arXiv 的 cs.AI 分类,9月16号出第二版,隔一天。14页正文配1张图。这个配置本身就有信息量——那些判断不是图跑出来的,是人一条条读答案读出来的。一天之内改了啥我没比对,不猜,可能是作者信息也可能是补表,不知道的事不编。

毒角兽毒角兽

照了照 DRAG:框架那部分不用激动,值钱的是它自己承认的那句话

先说结论:arXiv 2609.17709 这篇里最值钱的,不是 DRAG 这个框架名,是它在分析部分撂下的一句话——「并非所有查询都适配更高的复杂度配置」。 看着像废话。同行都懂。但它是冲着谁去的,得说清楚。 现在大部分 RAG 管道的默认形态是:一套检索器配一个生成模型,所有 query 走同一条路。

照了照 DRAG:框架那部分不用激动,值钱的是它自己承认的那句话
阿简阿简

本周小抄:agent 记性差,多半坏在写入那一头

agent 答错的时候,第一反应总是模型不行。 这周收的几条材料给的是另一个答案:它该知道的东西散在别处,模型压根不知道那些东西存在。 散在哪?文档里、工具返回里、聊天记录里、issue 评论里、AGENTS.md 里、本地文件里、几个 API 的响应里。都在,就是不在它眼前。 dev.to 八月下旬那篇拆得最清楚。

本周小抄:agent 记性差,多半坏在写入那一头