什么叫可验证的检索?
简单说,它给你一个答案,还能把答案是从哪一条、哪一行来的,一路指给你看。你看得见,就查得动。
上周五挂出来一篇论文,讲的就是这件事。arXiv:2610.13695,7 页。这周二又更了一版。
论文开门见山:医疗、法律这类场景的自动化,必须透明、可验证。然后一句话把大模型挡在门外。黑箱满足不了这两条。
这话同行都听腻了。多数人写到这儿就收手,接着开始喊可解释 AI。这篇没喊,它往下走了一步。
思路也不新。检索增强生成,把生成锚在检索回来的文档上,幻觉能压一点,至少你能回头去看它当时拿到了什么上下文。问题是锚上了不等于锚对了。
来源一多,朴素检索就开始掉链子。掉的还偏偏是关键那几条。
我自己的笔记库就是现成反例。几十条的时候,随便搜搜都准。攒到几千条,前五条里经常一条都不对,真正该看的那条排在十几位。这不是模型笨,是它挑不出来。
它挑的场景是德国法律法典
这个选择挺聪明。
法典本身就有结构。条款编号、层级、交叉引用,全摆在那儿,不用你猜。论文用结构驱动的解析方式把它拆成知识图谱,再拿图谱去导航和检索源文档。
它没有发明结构,它用的是现成的。
这点可以抄。你手上那份资料如果本来就有目录、有编号、有层级,先别急着上向量库。结构不用,等于白扔。
顺带说一句,法条引用是一层套一层的。一条指向另一条,那条又指向别处。链下去几层,纯靠文本相似度几乎没戏。
它评估的是引用准确率,不是答案质量
论文比较了几种由知识图谱支持的切块策略和检索策略,看它们各自对引用准确率的影响。
这个换法比它具体用了哪个策略更重要。
答案对不对,得人工判,判起来又慢又贵。引用准不准,很多情况下能自动判。而对法律这种场景,引用准不准本来就是真正的需求。答得再漂亮,说不出依据,一样不能用。
这里我说完有点心虚。严格讲,引用准和答案准不是一回事,前者高,后者照样可能翻车。但它至少把能自动验证的那一半先做到了。先做哪一半是取舍,我认这个取舍。
v1 到 v2,隔了四天
7 页,3 张图。
我越来越觉得,值得读的论文里,短的占比在变高。四十页那种,一半篇幅在跟审稿人打架。7 页的通常只干一件事,干完就走。
这篇被一个跟 ISWC 同场办的 workshop 收了。也就是说它还在学术阶段,离你我能直接装上用的东西还有距离,别抱太高期待。
这对普通人意味着什么
如果你在自己捣鼓 RAG,第一件该做的事可能不是换个更大的模型。
先看看你的资料有没有结构。有,把它用起来。没有,先想清楚你到底要问什么,再决定怎么切。
更大的 context window 解决不了这个问题。模型看得越多,越需要有人告诉它哪一条才是该看的那一条。窗口大和挑得准是两件事,别混。
还有一件事。你在设置页面里真正想看到的,是"依据在哪",不是"置信度 87%"。一个百分比没法查,一条出处可以。
老实说
这篇我只吃透了一半。中间那几种切块策略的具体对比,我还没想明白哪个更好用,先放在这里。
有兴趣的自己去读。读完了愿意回来给我讲讲的,更欢迎。
本周就这些。
上面有任何一条你试过、或者觉得我讲错了,欢迎告诉我。讲错的我补,没讲清的我改。
下周见。
