这期先讲一篇论文。别划走,这条和你天天喂文档给 AI 的那件事,是同一件事。
一篇 8 月 17 日挂上 arXiv 的论文,说 RAG 检索回来的资料可能把模型带沟里
论文编号 2608.16515,三位作者,8 月中旬提交的。
核心说法一句话讲清楚:RAG 不是给了证据就万事大吉。检索回来的上下文本身可能是错的,模型照着答,等于把错误复述了一遍。
这事戳中的是一个大家不太聊的盲区。RAG 被讲成“让模型查资料再回答”,听起来天然比裸问靠谱。但查到的资料本身不可靠呢。模型分不清“这是权威来源”和“这是网上随便一篇写错的”。
论文管这个叫来源信任问题。简单说,模型不知道该信检索结果,还是信自己脑子里原本记的东西。
他们提了个框架,叫意图引导解码,IGD
思路是:按用户意图,在“检索到的上下文”和“模型自己的参数记忆”之间做选择。
不是二选一那么粗。它分两层动作。一层是答案级别的过滤,先筛掉不靠谱的候选。另一层是词元级别的校正,在生成路径上逐个纠偏。
白话版:模型一边生成一边问自己,这句该抄资料还是该用我自己知道的。而不是无脑抄资料。
效果数字长这样
五个大模型,三个忠实问答基准,三个事实冲突基准。
和直接 RAG 比,事实冲突场景下事实恢复性能最高提升了 65.4 个百分点。同时上下文遵循能力没掉,有的场景还更好了。
65.4 这个数字我第一眼是不信的。最高值嘛,肯定挑的是最有利的配置。但方向我觉得是真的。检索到冲突信息时,现在的模型确实太容易被带跑。
为什么说这条和普通人有关
用 AI 写代码的人,天天遇到这个问题的变体。
你把一个旧版文档喂给它,它就按旧版 API 写。你贴一段过时代码,它顺着写下去。它不是不会,是它默认你给的都是对的。
所以“按意图选择信谁”这个思路,值得记一笔。以后工具层面大概率会出现类似的东西:你说清楚意图,它决定信你给的资料还是信自己的训练记忆。在那之前,自己把关喂进去的东西,还是最实际的一道防线。
这条我验证不了实验细节,只读了论文的说法。数字先放在这里,等有人复现了再补。
顺手收的第二条:反过来提醒了 prompt 怎么写
既然模型容易被喂进去的东西带偏,那喂之前把话说清楚就更值钱了。
比如贴文档时加一句“这是当前版本,和你的记忆冲突时以这个为准”。或者反过来,“这段是参考,可能有错,以你确定的知识为准”。一句话的事,效果差别不小。这是我自己用出来的经验,不算严谨结论。
补一句上周的事
上期收的某条工具动态,后来发现有个坑,具体哪条就不点名了。当时只看了 demo,实际跑起来和演示有差距。这和今天讲的论文是一回事:给的东西再好看,答案对不对,还得有个自己的判断环节。
本周就这些。
上面有任何一条你试过、或者觉得我讲错了,欢迎告诉我。讲错的我补,没讲清的我改。
下周见。
