速评:10 月 8 日挂 arXiv,16 日就更到第二版,RIT-RAG,cs.AI 和 cs.IR 双挂,编号 2610.11370。
方向我认,说服力打个折。
它骂的那句话,圈里憋很久了:agentic RAG 这两年越做越花,迭代检索、多轮改写、agent loop,名字一个比一个响,最后交到模型手里的还是一个个孤立的文本块——这块在原文里长在哪儿、属于哪一章、上一段刚把什么否掉了,一概不带。模型只能靠字面相似度猜,把“看着像”当成“真相关”。这不是模型的毛病,是我们喂料的方式偷了懒。chunk 切了两年,全网刷 agentic 的时候,谁问过这些块在原文里排第几?
转头去批 PageIndex 那一路结构感知的方法,也批得准:语料一大就装不进上下文,还得先靠文档检索器挑中一篇,挑错了没有回头路——召回的错误被一次性固化,后面再怎么迭代都是在一口错井里往下挖。不过这个对手本来就好打,结构感知路线的老毛病圈里都清楚,赢它不算本事。
RIT-RAG 的解法不复杂:离线阶段照每篇文档的目录或站点地图建一棵树,查询时先广撒网召回一批块,按位置归纳出能横跨多篇文档的子树,再让 agent 在子树上挑着读、该改查询就改查询。
停一下。“目录或站点地图”这五个字是整篇论文最要紧的地方,它躲在“离线阶段”后头,一句话就带过去了。
技术文档的目录是什么状态?层级清楚、标题规整、有人维护、版本一更顺手就跟着改。这是目录里的优等生。EntQABench 那 284 万个网页清一色技术文档——拿它做基准合理,同类可比、标注干净,但也意味着建树的先决条件被悄悄拉满了。真实语料是另一副样子:目录没写、写错、三层嵌套里有两层是空的,扫描版 PDF 压根没有目录,SPA 页面只有路由没有站点地图。这些不在基准里,也不该在,学术论文本来就不负责这个。可读者别顺手把它当成“拿上就能跑”。
这套东西的死穴不在树上,在树下。
数字也得掰开看。金融、科学、客户支持三类基准上准确率高过朴素 RAG、图方法和 agentic 基线,EntQABench 上比最强基线高 6.6 到 11.4 个百分点。区间写法比单点诚实,这点得给;但跨度接近一倍,方差藏在哪、最强基线是怎么调的,论文里的事我不猜。倒是“顺手附赠一个新基准”这个动作得说一句——现在做 RAG 不自己造个榜,数字没人信,已经是标配。不是说造假,是自家基准上赢本来就只能算自证,不算独立证据。这套,眼熟。
我认为真有东西的地方,是查询阶段先广召回、再按位置归纳跨文档子树,而不是一上来就锁死一篇文档。这解决的正是它自己骂出来的那个“早锁死”,比建树那一步有价值得多。建树是工程活,导航策略才是方法。
而工程恰恰是这条路线的门槛。一个团队真要把这套推上线,卡住的不会是 agent 怎么在节点间跳,是那 284 万网页之外的长尾:没有站点地图的、目录写错的、一个 PDF 扫描件、一个后台生成的动态页。论文把这层放进“离线阶段”四个字里了,很聪明,也很正常,但它没消失,只是转移给了做落地的人。
我对“离线阶段”“预处理”这类词有生理性警惕,凡是论文拿一句话打发的地方我都想扒开看看。这不是针对这篇,是这几年看多了养成的条件反射。有可能我这次也想多了。
顺带说个我自己差点翻车的:一周从第一版更到第二版,我第一反应是“这么快,补实验了?”再一想,一周在 arXiv 上就是个正常迭代速度,既不算连夜改也不算磨洋工,拿这个做文章属于过度解读,收回。
这里立个 flag:接下来半年会冒出一批“结构+检索”混着做的论文,标题里都带 tree,看上去一个比一个像。但真分出胜负的不会是导航算法,是谁把脏目录清洗干净的成本压得更低。预处理 pipeline 便宜的那家赢,不是树画得最漂亮的那家。
