10 月 21 日 16:05:44 UTC,arXiv 上挂了一篇,2610.29933,cs.CL 主分类,同时归在 cs.AI,六个作者,EMNLP 2026 Findings 收了,PDF 549 KB。秒都给了。
摘要里三个数字。HotpotQA 上 EM 比以文本为中心的方法高 14.4%,2WikiMultihop 上比最强基线高 5.8%,token 开销是最强基线的 23.3%。
三个数我都抄下来了,三个都不能直接用。问题不在作者做了什么手脚,而在这三个数的分母不是同一个东西,单位也没写死:并排放进一段话里,读者会自动合成出一个比论文本身大一圈的结论。这次要审查的就一件事:这三个数各自的分母是谁、单位是什么、噪声底在哪。框架本身好不好不在射程内,ThreadRAG 我一行代码都没跑过,下面所有关于它“有没有效”的话,都是在对数字做审查,不是在评测系统。
14.4 和 5.8 不该挤在同一个句号里
14.4 的对照组写的是“以文本为中心的方法”。这是一群人,不是一个人。从一群人里挑最矮的那个来比,14.4 就成立。论文自己在另一处报的是对最强基线 5.8——但那是 2Wiki 上的。两个数据集、两个对照组、两个数,写在相邻的位置,读起来就变成了“领先 14.4 个点”。
还有个更基础的:14.4% 是绝对点数,还是相对百分比?
如果是绝对点,基线 EM 55 的话,ThreadRAG 就是 69.4;如果是相对百分比,那是 55 × 1.144 = 62.9,绝对只涨 7.9 个点。两种读法在“取得 14.4% 的精确匹配(EM)提升”这一句里都成立,差出来的 6.5 个点比 5.8 那个数还大。5.8 也一样写的是“高出 5.8%”,单位照样没钉死。
时间戳精确到秒,EM 提升不说到几位——这个反差不是我编的,是页面自己给的。
三个多跳基准,摘要里点名的是两个,第三个叫什么、涨了多少,没说。挑两个报不违规,但“三个基准上稳定优于强基线”这句话的分量,是靠那第三个没露面的基准撑着的一部分。
这就是裸数字:能看,不能信。不是说它假,是说它撑不住读者默认会给它的那个解释。
我要的口径是:同一 retriever、同一 reader、同一 few-shot 数、同一检索 top-k,只换证据的组织形式。这一栏摘要里没有。全文我下下来了,表还没逐张核,所以这条先记成“待核”,不当结论——上次就是没核表就下了判断,被人当场问住。
5.8 个点在噪声的哪一侧
2Wiki 这个 5.8 我相对愿意多看两眼,因为它的对照组是单个“最强基线”,分母清楚。麻烦在幅度。
这套流水线里至少三种东西在随机:检索的近似最近邻、建图那一步 LLM 抽节点抽边、reader 的解码。三个源叠起来,同一套配置重跑,2Wiki 上 EM 的极差我自己的表里见过 3 个点出头。5.8 大概压在边界外侧一点——方向能信,幅度我不敢签字。
⚠️ 这归到“样本不够,先当方向参考”,不是“这个数不对”。
一次跑出来的 5.8,和跑十次中位数 5.8、极差 1.2,是完全不同强度的两份证据。摘要没说跑了几次,我不替它补。
23.3% 才是该当头条的那个数
token 开销 23.3%,比 14.4 有意思得多,因为它是比值。而比值最容易被写得挑不出错、又什么都没说清。
“最强基线”一般是按精度挑出来的那位,而按精度挑出来的基线,往往也是烧 token 最凶的那位。拿最贵的当分母,23.3% 当然好看。这个数本身没错,但它回答的问题是“跟最贵的那位比,你便宜多少”,不是“这类方法普遍便宜多少”。这两件事差多远,取决于这个领域基线的 token 开销分布有多宽——那个分布,摘要没给。
比 token 更该看的是每答对一题花多少 token,因为精度和成本分不开算。我拿摘要里的数反推一个算例,基线 EM 我随手取 55(这个数是编的,只为把算术走通,真值在论文表里):
| EM | token 指数 | 每正确一题的 token 指数 | |
|---|---|---|---|
| 基线 | 55% | 100 | 181.8 |
| ThreadRAG | 69.4% | 23.3 | 33.6 |
单位正确率成本降到基线的 18.5%。如果这个算例的方向对,这篇论文真正值钱的不是 14.4,是最后一行——同样的预算能跑五倍多的查询,或者同样的查询量省下八成账单。这个量级的差别比 EM 上几个点难伪造得多,也难做到得多。
但这里有个变量我没看到交代:建图成本摊到哪去了。STM 把检索到的文档组织成语义节点,再用叙事、语义、词汇三类边连成 STG——这一步如果是每个 query 现建,23.3% 里应该已经含了;如果是按语料建一次、所有 query 复用,这笔账就得除以 QPS 才成立。十次查询和十万次查询是两个完全不同的成本结构,摊销曲线在低 QPS 那头很陡。摘要里没这一栏,页面上我也没找到,留到正文核。
我前面说这才是头条。要是建图成本没摊进那 23.3%,这句话得收回一半。
它最后喂回模型的还是文本
这篇的诊断我认同一半。
它说图谱类 RAG 卡在两个地方:语义损失,连续文本压成离散符号,上下文细节和叙事连贯性丢了;模态不匹配,碎片化的图结构和 LLM 预训练吃的连续文本对不上,而把图改写成自然语言又会带进生成噪声、漏信息。这两条都是机制层面的判断,说得挺准。
然后给的解法是:STM 建语义节点加三类边成图,EDP 用能量扩散在图上定位相关子图,再确定性地把子图线性化成连贯的文本证据路径。
最后一步。喂给 reader 的还是文本。
那么模态不匹配这个问题,是被图解决的,还是被最后那一步线性化解决的?我的直觉偏后者。线性化成一条连贯路径这个动作本身,就把碎片粘回去了,图的贡献可能只是决定按什么顺序粘。这两件事在最终 EM 上会混成一坨,只有消融能分开:去掉 STG,直接对检索结果做同样的线性化、同样的顺序策略,14.4 里能剩下几个点?
这不是指控,是我要看的下一张表。如果线性化那一步单独就能拿到 8 个点,那这篇的重心就该往后挪,标题里 Graph Topology 那半句的权重也得跟着挪。能量扩散那套东西听起来像重排,重排这件事,一个训好的小 reranker 便宜得多。
“确定性”锁住的也包括错的那部分
EDP 描述里“确定性地线性化”这个词,值得单独抠一下。
确定性在这里的好处是可复现:同一张 STG、同一个 query,走同一条路,出同一条文本。对做评测的人来说是好事,我举双手。
但它同时意味着上游的错误不会被采样平均掉。节点抽错了、边连歪了,这条错路径会被确定性地复现——跑十次,十次是同一个错。所以这篇的方差特征会和纯采样型 pipeline 不一样:reader 那层的抖动还在,路径那层近乎为零。这会让“重跑十次取中位数”这个套路在它身上显得比实际更稳,因为最不稳的那一环被确定性盖住了。
该做的是换建图那一步的随机种子重跑十次。这两件事经常被混为一谈,我见过不少结论就是这么来的。
EM 这个指标本身也脆
HotpotQA 上的 EM 是归一化后的字符串精确匹配。答案写“Barack Obama”还是“Obama”,在有些归一化规则下一个对一个错。多跳 QA 上 EM 涨几个点,有可能只是答案抽取和格式化变好了,多跳链路一步没走对也能涨。
要分清得看 supporting fact 的召回:该跳的那几句文档,检索到没有、进没进最终路径。EM 上去了但 fact recall 没动,涨的是最后一公里;两个一起动,才是多跳真走通了。摘要只给 EM,这一栏我去正文翻。
复现清单
能在我自己机器上重跑的东西列一下:PDF 全文在,实验性 HTML 版在,TeX 源码也放出来了。源码这条得给分——prompt 和超参多半就在里面,比正文那张“实验设置”表靠谱。549 KB 不算大,附录应该翻得完。
一个提醒:DOI 10.48550/arXiv.2610.29933 的注册状态还是待完成。不是问题,是引用的时候心里有数,这条记录还没定版,后面可能改。
置信标签
方向大致对,样本还不够。
三条高置信,读摘要就能确认,不用跑任何东西:对照组的混乱、14.4% 单位不明、“最强基线”这个分母对成本比值有系统性偏袒。
两条中等置信,得看跑了几次、建图成本怎么摊:5.8 落在噪声边界外一点、23.3% 的量级可信。
至于图的贡献占多少、线性化占多少,EM 涨的是最后一公里还是多跳链路——没测到,不知道,这两栏我核完表再改这篇文章。
这套东西的量级不是我能跑起来的,脚本我没有。但表是可以核的。谁先核了那张消融表,数字对不上,告诉我。
