RAG 效果上不去,你多半一直在修错的那一半
8 月有篇论文,arXiv:2608.00658,《SelectAndExtract》,Chenming Tang 和 Jiawei Han。预印本,一百七十来 KB,薄。但它给了个切口,让我把自己调 RAG 那点破经验重新排了一遍。 先说结论——RAG 效果上不去,大概就两种死法。
8 月有篇论文,arXiv:2608.00658,《SelectAndExtract》,Chenming Tang 和 Jiawei Han。预印本,一百七十来 KB,薄。但它给了个切口,让我把自己调 RAG 那点破经验重新排了一遍。 先说结论——RAG 效果上不去,大概就两种死法。
「证据盲视」听着像心理学词,其实特别朴素:文档已经在你手上了,你没打开。 先交代我第一版的错。我一看到这四个字,条件反射是「召回不行」——搜歪了,没搜到,rerank 排错了。于是我把注意力全压到召回率、embedding 模型那一堆东西上,觉得把检索质量做上去就好了。 后来发现,方向从头就偏了。

RAG 那张图我画过不止一次。每次画到最左边,我都随手写两个字:切片。然后视线立刻往右移——检索、重排、拼 prompt,那才是重头戏。 上个月看到一篇论文,专门把我随手写过去的这两个字拆了六页。EAR,arXiv 2609.12268,9 月 10 号挂上去的,已经被 ASYU 2026 收了。整篇连六页纸都不到。
上下文压缩的评测没那么玄。是我拿错了尺子——我一直盯着答案质量,论文盯着引用归属。attribution。就这个词。 9 月中旬 arXiv 上挂了一篇,2609.14245,Deepanshu Mody 的 The AttributionCompression Frontier in RetrievalAugm…
上次画 RAG 那张图,我留了一格没填。就是“查回来之后、拼进 prompt 之前”那一步。当时我写“模型判断这段相不相关”,写完自己都嫌糊弄——判断?拿什么判断?让 LLM 盯一段文本说“我觉得这有用”,那不叫判断,那叫再赌一次。 这一格我绕着走了挺久。不是看不懂,是它没法用一张图收尾。

一个模拟出来的利益相关者,能不能拿来练需求访谈? 有篇论文就是冲这个问题去的。69 个学生,一半跟请来的真人聊,一半跟一个基于 RAG 搭的模拟利益相关者聊。 结果分成两截。 第一截很符合直觉。学生说,真人更真实,也更有参与感。 第二截反过来了。模拟那组,提的问题质量更高,功能识别的完整度也更好。
一个叫 PEARL 的 AI 学习助手,为什么会被玩家亲手关掉? 先说答案:不是因为它答错了。是它开口的时机不对。 这周本来能收五六条。最后只留下这一条。 一条 arXiv 上的论文,编号 2609.13718,九月十二号挂上去的,八页,已经被今年的 IEEE 游戏会议收了。

两周前挂上 arXiv 的一篇论文,标题长得没人愿意点开,讲的是开源模型在 ESG 报告里做检索问答。 本来我也差点滑过去。ESG 这三个字母离普通人远,论文里那些模型名,一半我都没听过。 但它里面有组数字,值得单独拎出来讲。 先说它测了什么。

RAG 会不会把你的资料漏出去? 简单说:会。而且不用黑进你的系统,会提问就行。 问题不在模型记不记得住,在检索这条通路本身。RAG 让回答有据可依、幻觉少了很多,这是它被广泛采用的原因。同一套机制反过来用,就是一个出口。 攻击者要的不是权限,是提问的入口。 拿到入口之后,他能从底层语料里一点点把个人可识别信息抽出来。

十天前 ORDER 挂在 arXiv 上,2609.17012。我第一眼是真没想点进去。路由、检索增强,这俩词挨一块儿,我脑子里自动蹦十几篇同质化的东西。后来是扫到摘要里“同时调整索引和检索”这句,手又绕回去了。嘿,本来没打算开这头。 这堵墙我撞过。之前给一个历史文献检索的活儿做过东西,具体是啥不细说,免得你猜出来。

先说结论:这篇论文真正值钱的不是它推的 GCMem,是它顺手证明的那个 Majority Vote Trap——语义等价的冲突记忆里,把 context window 开大,生成准确率往下掉。 不是持平。是掉。 「窗口越大、塞得越多、效果越好」——这句线性叙事,在这条定理面前原形毕露。
速评:9 月 13 号挂上 arXiv 那篇法律奖励模型论文,最值钱的不是摘要里那个 25.6。 是它顺嘴交代的一句话——现有奖励模型是照着通用偏好优化的,不是照着"该不该开口"优化的。读着像句自谦,实际把整条评估链的底给掀了。 奖励模型的训练目标是啥?人类标注员在两坨回答里挑一个更好的。
AI 查了资料再回答,就一定更准吗。 不一定。 九月十四号 arXiv 上挂了一篇医学方向的论文,arXiv:2609.16301,三十一页。它处理的就是大家都跳过去的那一环:检索回来的证据互相打架的时候,信哪一个。 简单说,这篇讲的是裁决,不是检索。 这期本来想多收几条。

前两天翻 cs.AI 的新提交,点开了 9 月 13 日挂上去的 arXiv:2609.14408,标题 Dynamic Learning Solutions: A System for Personalized Educational Video Generation,五位作者,Siddhanth Sridha…

速评:这篇论文最该转的不是结论,是它自己招了在哪塌。 9月15号挂 arXiv 的 cs.AI 分类,9月16号出第二版,隔一天。14页正文配1张图。这个配置本身就有信息量——那些判断不是图跑出来的,是人一条条读答案读出来的。一天之内改了啥我没比对,不猜,可能是作者信息也可能是补表,不知道的事不编。
9 月 13 号挂上 arXiv 的 TriCalRAG,编号 2609.14762。标题里那个"基准"我没兴趣,戳我的是中间一段结果描述: zeroshot 下,两个开放权重模型基本退化,某些数据集上,把 100% 的事件都判成 anomaly。 一条不漏地报警,等于一条都没报。

先说结论:arXiv 2609.17709 这篇里最值钱的,不是 DRAG 这个框架名,是它在分析部分撂下的一句话——「并非所有查询都适配更高的复杂度配置」。 看着像废话。同行都懂。但它是冲着谁去的,得说清楚。 现在大部分 RAG 管道的默认形态是:一套检索器配一个生成模型,所有 query 走同一条路。

先说结论:arXiv 2609.17983 这篇,正文里那个发现值钱,摘要结尾那句「可以无条件采用」不值钱。同一篇论文,前者有数据兜着,后者被它自己的实验打脸。 9 月 16 号挂上去的,Mingyang Mao、Wyatt Mackey、Xiaomin Lin 三个人的活,cs.AI 分类。

agent 答错的时候,第一反应总是模型不行。 这周收的几条材料给的是另一个答案:它该知道的东西散在别处,模型压根不知道那些东西存在。 散在哪?文档里、工具返回里、聊天记录里、issue 评论里、AGENTS.md 里、本地文件里、几个 API 的响应里。都在,就是不在它眼前。 dev.to 八月下旬那篇拆得最清楚。

翻一篇 dev.to 上的 RAG 复盘,正文那五条经验扫过去,真正让我停下来的东西在评论区里。整条线最后长到比正文还长,绕着一个数转:0.92。 背景是个很典型的受困环境:内网,没有 GPU,Mistral 7B 跑在 4 vCPU / 16 GB 上,一个完整回答 60 到 120 秒。