这篇 RAG 投毒论文,自己把「投毒」的底给交了
先说结论:这篇《Reliability Stress Testing of RAG Retrieval under QueryRelevant Corpus Poisoning》我给 8 分。标题早晚要被拿去写错文章。 先别急着转那些「RAG 已死」的标题。

先说结论:这篇《Reliability Stress Testing of RAG Retrieval under QueryRelevant Corpus Poisoning》我给 8 分。标题早晚要被拿去写错文章。 先别急着转那些「RAG 已死」的标题。

2.6 秒不算长。可你把它放进实时游戏,玩家敲完回车,盯着 NPC 头像卡两秒半,心里已经犯嘀咕:这角色是不是掉线了。arXiv 那篇系统映射给出的范围是 2.6 秒到 15 秒,同一个“说句话”的动作,慢的快六倍。差在哪?不在模型大小,在循环外面多套了多少道工序。

上周翻 arXiv 的 cs.CL 新列表,本来是把一篇基准论文当普通多语言评测划过去的,翻到结果那一段停住了。作者拿五款开放权重模型去复述六部逊尼派正典圣训集,每部抽 500 条,五个模型两种语言跑下来一共 30000 次回答,没有一次同时达到高词汇保真度和高语义保真度。

arXiv:2611.02286,2026 年 11 月 1 日晚上挂上去的,23:29:55 UTC,五个作者,归在 cs.AI 下,标在 IPCMC2026 名下,PDF 三百多 KB。
周一早上九点十七,arXiv cs.CL 新提交列表,刷到一篇叫 TRIO 的。点进去纯粹因为标题里那个 “Individual Optimization”——现在 RAG 论文一水儿往 pipeline 上叠 agent,叠完报涨点,我倒想看看这个“各自优化”是真有东西还是换个说法。 先说是什么。

给离线 RAG 做供应链安全,默认动作是签名。文本打个包,预计算好的向量一起塞进去,签名,推到边缘设备上。验签通过,这条链路就算干净了。 这个动作本身没错。错的是它给出的安心感覆盖的范围。 签名保证的只有一件事:这堆字节是某个持有私钥的人发出来的,中途没被换过。它不保证这堆字节内部的两样东西彼此对得上。

四天前 arXiv 收了 SlackBench,编号 2611.05512。作者八位,第一作者 Mingxuan Li,Gonzalez 和 Dimakis 也在名单里。我冲着作者点开看了一眼,没抱什么期待。 过去见过的协作类 benchmark,拆开看多数是让 LLM 生成几个角色,在模板对话里假装开会、假装改需求。

“Unlearning”这词被讲得跟给模型做前额叶切除似的。 我一开始也这么以为。看到那篇讲 Compositional Concept Unlearning 的论文(arXiv:2610.29223,上个月 21 号挂上去的,cs.CL),脑子里的第一反应就是:哦,又在权重上动刀,把某个概念从参数里挖掉。

分块(chunking)没什么玄的,就是把文档切成模型能一口咽下去的小块。玄的是"哪种分块好"。所有人都在比召回、比切得准不准,可这张评估表底下压着一格几乎没人画:文档改一次,你得重新嵌多少东西。 我第一版画这一格,画错了,还挺得意。先说这个。 我以为是这样: 改哪块就重算哪块。增量更新,天经地义。

I did not knock the scarf into the pond。 跟“Mo 把围巾弄进了池塘”这条事实摆在一起,量出来的余弦相似度是 0.6085。 这条链路的阈值是 0.5。于是这句否认,被判成了泄密。 不是段子。

上周我又在干一件蠢事:把 chunksize 从 512 改成 768,重跑整条评估流程,就为了看检索的 nDCG 涨没涨。这种事我一个月干好几回,改分块、换嵌入、加不加重排序,每改一个都要手动搭一遍评估,时间全花在搭环境上,不是花在分析上。

先说结论:让模型自己决定要不要再检索一轮、套上查询改写加重排序、开思考模式——这三件事被吹了整整两年,这篇论文挨个照了一遍。三样里没有一样让模型更愿意说「我不知道」。其中两样,让它更敢编。
速评:三个检索技术各自单独测,预测能加 47%;塞进同一条管线一起跑,只剩 17%。 问题不在哪个技术不够硬。是“提升 X%”这个计价单位本身通胀了。

凌晨两点多,把 arXiv 的 cs.CL 新提交通道往下扒。一天几百条,标题扫过去基本不过脑子。这条手指停住了:MAPS: MacroAdaptive Parallel Reasoning for Regulating Search Momentum in RetrievalAugmented Generation。
10 月 21 日 16:05:44 UTC,arXiv 上挂了一篇,2610.29933,cs.CL 主分类,同时归在 cs.AI,六个作者,EMNLP 2026 Findings 收了,PDF 549 KB。秒都给了。 摘要里三个数字。

速评:10 月 14 日 dev.to 那篇讲 agent 记忆与学习的文章,正文不值钱,评论区值钱。 署名 Sparsh Jain,开头引了对冲基金总监的一个观察——换人接手,代理之前攒的状态清零。开场选得聪明,痛点抓得准。

先甩一个我一开始不信的结果:同一道题、同一段检索回来的材料,只把给模型的指令从「你可以用自己的知识」换成「以文档为准」,误导率就往上走——三个 QA 集平均涨 10.9 到 13.5 个百分点。 两周前挂出来的 RAGStress(arXiv 2610.11183,Zhou 他们)测的。

文档结构能不能帮上密集检索? 简单说,能。但增益小到你在自己项目里大概测不出来。 10 月初 arXiv 上挂了一篇论文专门测这个。标题很长,大意是《文档结构是否有助密集检索?跨两个语料库的四种机制的安慰剂对照消融》。长得像不想让人读。 真正值得抄的不是结论,是它做实验的方式。 RAG 里处理文档结构的手段就那么几种。

这条在讲 Alex Georgiev 发在 DEV Community 的 BMW Repair Workshop——朋友自己修一台 E90 325i,他搭个 AI 查修车信息。我点开的时候没抱期待,又一个拿 LLM 给垂直领域套壳的东西。一般节奏是:喂官方手册、上 RAG、做漂亮架构图。
RAG 的框图我画过好几版,第一格永远是同一个圆柱体:向量库。切好的文档、嵌好的向量全堆在里面,安静的,静态的,像一个早就装满了的柜子。 iRAG 上来就把这一格给擦了。库一开始是空的。
