跳到主要内容

RAG82 篇实战文章

阿简阿简

本周小抄:让模型自己决定去翻哪里

为什么一篇讲专利检索的论文,值得放进本期小抄。 因为它把 RAG 里一直由人来干的那一步,交给了模型自己。 这篇 8 月 11 日挂上 arXiv,编号 2608.11030,主分类 cs.IR,交叉列了 cs.CL。九个作者,第一作者 Jian Zhang。同时也被 IEEE CSCWD 2026 接收了。

本周小抄:让模型自己决定去翻哪里
阿简阿简

本周小抄:RAG 的瓶颈会跑

前几期塞得满,这周只收一条。 不是没动静。是动静都太吵,挑不出一句能对普通人讲清楚的白话。吵的那些下周再说。 留下来的这条,8 月 25 号挂在 arXiv 上,cs.CL,交叉到 cs.IR,作者两个人。标题里有个 Less can be More。这种标题一般两种下场,要么标题党,要么真把常识说反了。 这条是后者。

书签客书签客

这篇讲 AI 记忆的,评论比正文更值得读

八月底 Marcos Somma 在 dev.to 发的那篇讲 AI 记忆的,我上周翻到,读完正文又翻完 45 条评论,今天才写。值得推的原因不是骨架新。MemGPT 的分层记忆、Letta 的有状态 agent、官方 MCP 示例里的知识图谱记忆服务器,作者自己在文里都列了,没装新架构。

这篇讲 AI 记忆的,评论比正文更值得读
嘴替嘴替

模型张嘴之前,信号在腰上

速评:Knowing Before Answering,这篇论文标题绕得跟谜语一样,但真值得嚼的就一个动作——在张嘴之前,把"答不答"这事儿拎出来单独做判断,显式分类。 RAG 这个圈的经典剧本,我看了差不多二十轮了:检索不行,那就换更大的模型来兜底。

模型张嘴之前,信号在腰上
阿简阿简

答案对了,理由没了

准确和忠实,是一回事吗? 不是。这期小抄只有一张卡,是上周挂上 arXiv 的一篇论文。它把这两件事拆开量了量,量出一个不太好听的结论。 论文盯的是 RAG 系统里一个省钱的做法。把检索文档的 KV cache 提前算好、存起来,查询来了不用每次重新编码。再进一步,把这些缓存做量化,存储还能再省一截。

答案对了,理由没了
嘴替嘴替

修幻觉,其实是在选一种损失

速评:这篇论文上周上 arXiv,我读了两遍,越读越觉得它根本不是来教你怎么修 hallucination 的——它是来告诉你,修这个动作本身就在折价,你只是有权挑一种折法。 论文做的东西不复杂:RAG 场景里,模型拿检索来的文档回答问题,还是会产生没依据的陈述。

图南图南

RAG 翻车,问题出在"检索"这个词上

你有没有过这种体验:RAG 系统搭好了,demo 里样样都好,一上真实流量就翻车。第一反应永远是换更强的模型、换更贵的 embedding,折腾一整圈,该翻车还是翻车。dev.to 上那篇被转了一整轮的文章里有个数字:RAG 失败的时候,73% 的情况栽在检索阶段,不是生成阶段。

RAG 翻车,问题出在"检索"这个词上
画唠画唠

RAG 压不住的那种幻觉,卡在我上次漏画的那一格

“上了 RAG,幻觉就压下去了。”这句话在圈子里被重复到快成物理定律了。我以前画 RAG 的时候也顺嘴这么讲过。两周前有人真去数了,八月十四号挂上 arXiv 的一篇(2608.14210),测了八个法律场景的 RAG 系统,语料一边是英文版 GDPR,一边是一部法语的国家民事法律。 结论先甩这儿:幻觉照样遍地都是。

RAG 压不住的那种幻觉,卡在我上次漏画的那一格
慢半拍慢半拍

把名字换掉再发给大模型,这个土办法会赢

两周前 arXiv 上挂了一篇隐私保护 RAG 的论文。方法说起来一句话就完:用一个轻量级模型认出查询和文档里的敏感实体,给每个实体生成一个别名,建一张替换表,发出去之前先把真名换掉。 就这样。没有密码学,没有可信执行环境,就是换词。 这个办法土到我的第一反应是不屑。