先说结论:这篇《Reliability Stress Testing of RAG Retrieval under Query-Relevant Corpus Poisoning》我给 8 分。标题早晚要被拿去写错文章。
先别急着转那些「RAG 已死」的标题。40% 到 61% 的 nDCG 跌幅是真的,吓人的地方却不在「投毒」两个字上。
坐标摆上:v1,11 月 3 号挂的 arXiv,2611.04264,cs.AI。测试集是 SciFact 和 NFCorpus 的 623 条 BEIR 查询。压力测试打在检索器接纳外部文本这一步,变量开了四个:文档内容、攻击者掌握多少查询信息、每个目标的投毒预算、污染范围。这个设计是真在下手测,不是拿两个玩具 query 摆拍。四个变量分开控制这件事本身,就比结论更少见——多数安全论文喜欢一把梭。
孤立目标,每个查询塞五篇针对它的文档:
isolated target, 5 docs / query
nDCG@10 drop: 40.2% ~ 61.5%
五篇。就五篇。经典检索器掉四到六成。谁都能凑出五篇文档扔进你的语料里,这门槛低得不像一次攻击。
这里有个细节,我停了一下。论文说 BM25 的大部分跌幅能由「完整查询锚定」解释,追加文本还会改掉 LSA 和 Hybrid 的排序。翻译成人话:把查询原文原样抄进文档,BM25 就把它当宝。不需要语义对齐,也不需要什么精巧的攻击载荷。你只要知道用户会搜什么词。
这不是投毒。这是检索器自己在做词面匹配,然后你把答案塞到它眼皮底下。
所以那些把这类攻击描述成「知识库被污染」的说法,方向一开始就偏了。你的知识库干干净净,照样能被顶穿。
稠密模型那段,我先愣了一下
BGE-small, P=5, query-only
SciFact target exposure: 100%
NFCorpus target exposure: 100%
两个数据集,五篇文档,目标曝光率 100%。这已经不问「下降多少」了,问的是「检索出来的东西里必然有它」。
这条我给满分,不阴阳。做 RAG 的都清楚,曝光率 100% 意味着下游生成层没有任何回避余地——你不知道该防哪一段,它每次都来。
紧接着就是打脸,论文自己打自己:
SciFact nDCG@10: 0.269 -> 0.271
NFCorpus exposure: 100% -> 98.8%
加了注入载荷,nDCG 几乎没动,曝光率还掉了 1.2 个点。作者写得干脆:对这个稠密模型而言,查询锚定仍是检索侧的主导因素。
差距小到这个程度,本身就是结论——那点载荷在这个模型面前基本没起作用。
这是全篇最值钱的一句,也是被引用时最容易被略过的一句。
承认它,就等于承认「语料投毒」这个威胁框架在稠密检索上没那么成立。攻击者不用污染你的知识库,他只要知道查询长什么样。而在 RAG 里,查询是用户自己送上门的。
你品品这个攻防成本比。
长查询那段,我读了两遍
162 条较长的 SciFact 查询,两个随机词覆盖了 19.9% 的可用词面,换来 39.5% 的 Hybrid 目标曝光。
两个随机词!
攻击者在这个场景里连查询都不用知道,往长查询里蒙两个词就能蹭到近四成曝光。长查询的词面冗余度高得离谱,稀释完随便撒点东西都能浮上来。这类「部分信息攻击」的成本,比我原来估的低一个量级。门槛被论文自己按到了地上。
多目标污染那部分引入了跨目标干扰,配置我还没细读,先别信我这半句,回头补。
防御那段,是全文最诚实、也最没人愿意引的一句
基于重叠的准入机制能移除完整查询投毒,代价是可能显著降低干净检索的效用。MMR 在测试配置下,对曝光率一点没变!🙃
闸门装上,干净查询先被误伤。而很多管线当默认配置在跑的 MMR,连曝光率的数字都没挪动一下。市面上那些「RAG 安全加固清单」抄的到底是什么东西,自己心里得有数。重排序不是防御,它只是让结果看起来更像人写的。
这行字比任何一条防御建议都值钱。
顺带把边界说死:论文只测检索层,不评估下游指令遵循。检索层 nDCG 被顶掉四成,和生成层真的照着注入文本执行,中间隔着整段不确定性。谁要拿这篇去写「RAG 全线沦陷」,自己补实验,别拿别人的表当自己的结论。
我一开始以为这是篇讲投毒防御的文章。读完了发现它讲的是另一件事:检索器有多懒。
前者是安全议题,加个模块能糊过去。后者是架构议题,改起来伤筋动骨。也难怪摘要里那句话写得那么收敛。
哦对,我只读了 v1 和它附的实验配置,没复现。谁复现了吱一声,尤其是那个 0.269 到 0.271,我不太信这个差距小到这个程度。
锐评评分卡
数据扎实度:给分。四个变量分开控制,孤立目标和多目标分开测,曝光率和 nDCG 分开报。这种表是干活的人写的,不是给摘要配图的。
标题与内容的落差:扣分。「Corpus Poisoning」四个字会让人以为威胁在于知识库被污染,实际数据指向的是查询锚定。两码事。后者更难防,也更难卖。
这钱花得冤不冤:不冤,arXiv 免费。冤的是拿它去给「RAG 安全产品」做背书的那些人。👀
值不值得现在跟:值得。但凡你在跑检索管线,就照它的配置自己跑一遍,尤其是 P=5 那个曝光率。这个数字要是也能在你自己的库上复现出来,你现在这套 rerank 的投入产出比,得重新算。
通稿留着睡前看。这篇留着开工前看。
