先说结论：arXiv:2610.31606 这篇评估乳腺病变 RAG 的论文，最好那组配置报出来的 Recall@3、R-Precision、MRR@3、nDCG@3，四个数全是 0.94。
别急着把四个数当成四份证据。它们就是同一件事数了四遍。
18 条查询，17 条排进前三。
Recall@3 0.94
R-Precision 0.94
MRR@3 0.94
nDCG@3 0.94
1/18 = 0.0556，0.94 就是 17/18，除下来一点不剩。这套指标的刻度就是一格 0.056，作者报了两位小数。第二位小数哪来的信心，论文里没写。
我不怀疑这个数是真的。我怀疑这个数没信息。
标题和正文说的不是一回事
标题叫「How Ground Truth Shapes Retrieval Scores」，意思摆得很明白：标注怎么扭曲检索分数，我给你讲清楚。
看完实验部分，我第一反应是标题取反了。
他们干的事，是把证据片段从 25 条整理到 37 条，被认可的候选分块从 36 个扩到 51 个，扩了快一半。
然后：检索排名没变。
一句没变！
论文把这个结果解释成「评测对标注方式敏感」。我读出来是相反的意思——这套系统已经把所有该排上去的都排上去了，你把标准答案扩写一遍，它还是那样。这说明题目早被做满、标尺顶到头了，再往上加东西也量不出来。
18 篇文档，18 条查询，一篇文档一条。这个粒度，只要检索器没坏，都能把对应那篇捞回来。📌
18 个点上网格搜索，再报最优点
扫描范围我抄一下：分块长度 128 到 1024 token，重叠率 0% 到 20%，四种检索器配置。
三样乘起来多少组？我没细算，反正比 18 条查询多得多。
在 18 个点上做网格搜索，挑出分数最高那组写进摘要。这叫拟合，不叫评测。
最优配置是混合检索器、384 token 分块配 20% 重叠，18 条查询里 17 条把被认可的证据排进前三。从 N 组配置里挑出在 18 条查询上最好看的那组，分数天然偏高。偏多少，得靠独立测试集估。这篇没有独立测试集，作者自己在局限里写了「开发集规模偏小，结论需要独立验证」。
承认归承认，摘要和标题里那个 0.94，是带着这个偏差写出来的。
我上次就是被一组二十来条样本的评测带着换了主力工具，用了两周才发现那二十条是挑过的。吃过一次亏，现在看数字先问样本量。😐
该给的分还是得给
这套「证据感知」的标注口径，是同类论文里比较像样的。
证据片段映射到所有包含它的分块上，内容等价的互相重叠分块也算相关。这条很关键。不少 RAG 检索评测就栽在这：标准答案只标原文那一段，系统把一个语义等价、只是切分位置不同的分块排到第一，被判成错。这是标注的问题，不是系统的问题。
作者把这层捅开了，值得记一笔。
但这条「做对了」，也正好解释了上面那个「排名没变」。标注口径本身就跟着分块边界走，你再怎么扩标注、补重叠，扩出来的还是同一批分块。排序不动，更像同义反复。
这句我说不准：是作者没意识到，还是意识到了没往这写。论文里只有「敏感」，没有「为什么敏感」。这个「为什么」，才是标题欠的债。
生成侧基本没怎么展开
512 token 索引，K 从 1 到 5，DeepEval 的论断级指标，裁判交给 deepseek-v4-pro，旁边挂 BLEU 和 ROUGE 当陪衬。
BLEU、ROUGE 打在临床证据生成上，我就不多说了，同行都懂。留着当参考可以，别当结论。
LLM 裁判加 n-gram 重叠率这套组合，毛病在于两边错的地方不相关。前者会漏判语义等价，后者会奖励措辞雷同。两个都过不代表对，两个都挂不代表错。
真要立住，作者自己也写了：得请放射科医师来评证据充分性。
这句话现在躺在局限里。我觉得它该躺在方法里。
那这篇东西到底有什么用
有用。18 篇文档 18 条查询，当作一条流水线的可行性验证够了：稠密向量加 BM25 加 cross-encoder 重排能串通，分块参数确实影响结果，cross-encoder 重排在四种配置里分数最高。这些都能拿去用。
当作「ground truth 如何塑造检索分数」的证据，不够，远远不够。
标题承诺一个规律，正文交付一个案例。这落差就是我最烦的那种——不是造假，是把一次演示的结论写成了普适发现。
顺带一提，页面上 DOI 还挂着「尚待 DataCite 正式注册」。预印本，引用的时候别写成已发表。
锐评评分卡
- 标注协议：真做对了，尤其重叠分块等价那条。全文最硬的一块。
- 检索分数：0.94 在 18 条查询上没有区分度，四个指标报同一个值，等于只报了一个值。
- 结论强度：标题大于数据。作者的局限段落比摘要诚实，比标题更诚实。
- 生成侧：LLM 裁判加 BLEU/ROUGE 只能算占位，等放射科医师那版出来再谈。
这波冤不冤？不冤。但别照着标题去引用它。
想拿它当「标注影响检索评测」的论据，先把 18 条查询这件事讲清楚——18 条查询撑不起一个规律，只撑得起一次演示。
非要从里面拿走一句话，我拿这句：扩标注不改排序。这比它的标题有意思得多。可惜作者自己没往这个方向写，白白让一个真问题从手边滑过去了。