跳到主要内容

三个 RAG 花活测下来,只有最笨的那个学会了说「不知道」

毒角兽
毒角兽

· 阅读约 5 分钟

先说结论:让模型自己决定要不要再检索一轮、套上查询改写加重排序、开思考模式——这三件事被吹了整整两年,这篇论文挨个照了一遍。三样里没有一样让模型更愿意说「我不知道」。其中两样,让它更敢编。

论文叫 DeclineCraft,10 月 20 号挂上 arXiv,编号 2610.28340,cs.CL 主分类,交叉到 cs.IR。三位作者,正文 38 页,28 幅图 12 张表,代码链接公开。图是真的多,翻到手酸。

它测的场景一句话说完:检索回来的文档不够,模型自己脑子里也没有,这时候它认不认得出「这题我答不了」。

题目围绕 Minecraft 在语料截止之后新增的功能造。看到这里想笑的人先忍住。这块设计反而是全篇最扎实的一处——作者针对「模型可能靠参数知识提前见过这些内容」做了审计,而且不止设一个语料截止时间,设了一组。后面发布的模型照样能塞进同一个框架里测。

一个 benchmark 能活过两个模型版本就算长寿。多数是发布即巅峰,半年后题目全被吃进预训练里。这组截止时间是给这东西续命的。这条我给分。

然后上数据。

单轮检索            CAR 显著上升   38 / 40 组合
迭代式 RAG          CAR 显著下降   30 / 40 组合  (均值 46.4%)
查询改写 + 重排序    CAR 下降       12 / 12 模型

27 个模型,按「模型 × 是否开思考」拆成 40 种组合,指标分三个报:正确拒答率、可回答问题尝试率、答案准确率。拆法对。很多拒答研究只丢一个笼统的「拒答率」出来,该答不答和该不答不答混一锅,那种数字看不了。

第一行是唯一的好消息。它之所以是好消息,恰恰因为它笨。一次检索,检索完就闭嘴,不要多想。诚实度上去了。

第二行才是关键。

迭代式 RAG 的逻辑听上去无懈可击:模型自己判断现有上下文够不够,不够就再发起检索,最多两轮。这不就是「更聪明」吗?实测:40 种组合里 30 种正确拒答率显著下降,均值掉到 46.4%。

一半以上,它在该说「不知道」的地方开了口!

换来什么?

答案准确率:68.5%  →  69.3%

0.8 个百分点。

用一半以上的诚实,换 0.8 个点的准确率。这笔账只有发布会 PPT 上才划算!

这个方向其实不难想。多给一次检索的机会,就等于多给一句「再找找总能找到点什么」的暗示。找回来的东西哪怕只沾点边,也够把它从「我答不了」推到「那我试试」。检索这个动作本身就是个承诺——我既然去查了,总得带点东西回来。

第三行更狠。稠密加稀疏的混合检索之上,再叠查询改写和重排序,12 个被测模型正确拒答率全下降,一个不剩!

我第一遍看这行以为是实现 bug,重读了一遍方法才反应过来不是。

管线越精致,模型越有底气。它看到的每一段文本都经过了打分和重排,都被证明「相关」。相关在它那儿约等于有据,有据约等于能答。相关性和充分性中间那条缝,管线越顺滑,越看不见。

再说规模。

参数总量与答案准确率的 Spearman 相关系数 +0.60,方向不意外,模型越大答得越准,老结论了。但正确拒答率跟参数规模没有显著关联,跟发布时间也没有。

一句话:钱能买到准确率,买不到诚实。这话不好听,数据就摆在那儿 😅

最后说思考模式,这是全篇我最想让人看的一段。

不提供检索,同一组权重,开思考:13 个模型里 8 个正确拒答率显著下降,平均降 14 个百分点。

降 14 个点不算新闻。新闻是失败形态变了。不开思考的时候,它答不出来会说「我的知识里没有这部分」;开了思考,它直接否认问题前提成立——「这个功能不存在」「你这个问法有问题」。

从「我不知道」变成「你问错了」。

这个转向比那 14 个百分点值得看多了。前一种错是能力边界,后一种错是把边界画到提问者头上。而且后一种错听起来更像人,更有说服力——更容易让人信。这才是我觉得它危险的地方。

思考模式加单轮检索这个组合,清单里没单列,正确拒答率是继续掉还是能被检索拉回来,我不敢替它下结论。这半句先别信我,等有复现的再说。

锐评评分卡:

这论文值不值得读?值得。这段时间里少见的、读完会让人对自己手上那套 RAG 管线起一点疑心的东西。

值不值得现在就改配置?别急。它是 benchmark,不是产品评测。46.4% 那个均值是在它自己构造的不可回答集上测出来的,换到你自己的业务脏数据上能掉多少,没人替你测。真要动,先干一件事:从线上日志里捞二十条「模型本来该说不知道」的 case,单轮检索跑一遍,迭代检索再跑一遍,自己数。

至于「agentic RAG 更聪明」这句话——它可能确实更聪明。这篇论文没否认。它只是提醒你,聪明和诚实在这套系统里不是同一个旋钮,而且很可能是反着拧的。

毒角兽
毒角兽

拿到新工具先上手拆一遍,官方通稿信一半留一半,实测说话。

查看主页 →