「证据盲视」听着像心理学词,其实特别朴素:文档已经在你手上了,你没打开。
先交代我第一版的错。我一看到这四个字,条件反射是「召回不行」——搜歪了,没搜到,rerank 排错了。于是我把注意力全压到召回率、embedding 模型那一堆东西上,觉得把检索质量做上去就好了。
后来发现,方向从头就偏了。
源头是 arXiv 八月底挂的一篇论文,AtlasNav,九月底改了一版。Evidence Blindness 这个词就是它造的,描述的失败挺具体:在交互预算有限的前提下,已经拿得到的证据没被用起来,而且是渐进式地一步步滑走的。
渐进式,这三个字我第一眼没读懂。画了张图才咔哒一下扣上。它不是某个点上的错,是一条滑坡:
① 支持性文档从头到尾 ② 检索到了, ③ 打开了,
就没进过视野 但从来没被打开 但决定性那句没被呈现
──────────────────► ──────────────────► ──────────────────►
方向搜错了 看见标题就跳过 读是读了,没读到位
三档里,中间那档最扎人:文档已经在你手里,你没打开。右边那档更扎人:打开了,那句决定性的话从眼前划过去了。
所以我第一版是错的。召回率做得再高、rerank 再准,也救不了中间和右边。你已经把对的文档捞回来了,问题出在捞回来之后。
等等等等,先别急。那问题出在哪儿?
论文的归因我认为是全文最值钱的一句:agent 得在交互过程中自己推断「有用的证据方向」。翻成人话——它不只要搜,还得在每一轮开搜之前,先想一遍「我该往哪儿搜」。而「想往哪儿搜」这件事,本身就在吃预算。
画成一个圈:
┌──────────────────────────────────┐
▼ │
不知道方向 ──► 花预算试探一下 ──► 捡到一点线索 ──► 猜下一步方向
│ │
└──────────── 预算就这么烧掉了 ──────────────┘
鸡生蛋。搜得准的前提是你大概知道答案在哪;你正在搜,恰恰因为不知道答案在哪。每转一圈都在「决定去哪搜」上缴一次钱,真正用来读证据的钱就剩不下多少。
论文说,已有的做法全卡在同一个位置:要么把语料结构保持得高度隐式,等于没结构,每回现找;要么等查询来了再现场重建搜索方向,等于每来一个问题就重整一遍找路思路。两条路都把「决定方向」放在查询之后——放进了那个本来就吃紧的预算里。
AtlasNav 的破法就一条:把这步挪到查询之前。
我的理解是这样:别等有人来问,离线先把整个语料组织成一张多视图的 Corpus Atlas,查询来了就在这张图上自适应导航。
旧路子:
查询来了 ──► 现场重建「往哪搜」──► 搜 ──► 判断 ──► 再想往哪搜 ──► ...
(每轮缴一遍方向税)
AtlasNav:
查询还没来 ──► 离线把语料组织成多视图 Atlas
│
查询来了 ──────► 直接在 Atlas 上导航 ──► 且随时翻得回原始文档
(方向税提前缴过,预算拿去读证据)
有个细节我不想放过:仍然能直接访问原始文档。这话看着不起眼,但它恰好是我一开始最怀疑这条路线的地方。
打个比方:Corpus Atlas 就是图书馆那张交叉索引卡片柜。你带着问题进去,先翻卡片,卡片说这类东西在 C 区,你走过去翻原件。关键就在最后那半句——卡片柜是索引,不是摘要。索引给你指路,摘要把你拦在原件外面。很多「给语料建结构」的做法最后做成了摘要,模型读的是别人嚼过一遍的东西,那句决定性的早在嚼的过程中丢了。那正好是右边那档滑坡要防的东西。
这个比喻在这里漏风,我得标出来:真实的多视图 Atlas 不是谁手写的卡片,是从语料里自动聚出来的。也就是说,卡片柜长什么样,取决于它怎么聚;聚成什么样、聚得对不对,你事先并不掌握。人手写的分类法背后是有人在负责的,这里没有。
那它到底管不管用。数据:
BrowseComp-Plus 上,AtlasNav 压过了此前最好的交互式语料库访问方法,而且在多种主干模型下都成立。后面这半句比某个单模型上的漂亮数字值钱——说明不是靠某个 backbone 的脾气。
具体数:DeepSeek 上,严格准确率涨 7.47 个百分点,同时查询阶段的推理成本降 30.22%。
涨准确率的同时降成本。这两件事一起出现,正好印证上面那张图:方向税提前缴了,查询时省下来的预算既能换更多有效阅读,也直接体现成更低的推理开销。这玩意儿挺酷的 ✨。
但这个降本得标口径,别当免费午餐听:降的是「查询阶段」的推理成本。建那张 Atlas 是离线做的,那笔钱不在这 30.22% 里面。端到端到底省了多少,这个数不回答。
另外两个结果我一句带过:PhantomWiki 上,它对语料结构、规模的变化比较稳;换到异构的企业数据上也拿到了领先结果。稳这件事其实比涨点重要——语料一变结构就崩的检索增强,才是真上不了生产的那类。论文 29 页、7 张图,代码、数据、轨迹都放出来了。
……说到这儿有块我还没画透:「多视图」到底是哪几个视图,导航的时候怎么在视图之间切。先放这儿,看懂了再补。
留个自检:现在你能不能用自己的话说清,「证据盲视」和「检索效果差」为什么是两个问题?如果讲着讲着发现自己在解释召回率,多半还没扣上——滑到中间和右边的那部分,跟召回率一点关系都没有。
下期画开哪个,你说。我这儿排了三个候选:agent 的停止条件、embedding 到底在比什么、还有为什么同样长的 context,有的模型中间那段就是会丢。
本期画开:检索不是终点,用上才是。
