这篇是 Aleksi Huotala、Miikka Kuutila 和 Mika Mäntylä 发在 arXiv 上的，十月七号提交，归在 cs.SE 和 cs.AI。标题叫 Has LLM Screening Performance Stalled in Software Engineering Systematic Reviews?——标题里那个 stalled 用得准，我读完整篇，就记住这两个字：卡住了。
他们拿 SESR-Eval 当底子，嫌跑一遍太贵，用功效抽样裁了个小号出来，叫 SESR-Eval-Mini。这个动作我先记下——刷评测的人大多想的是加算力、上更大的模型、喂更长的 context，他们反着来，先把数据集砍到刚好保功效，再把新模型往里放。评测便宜了才跑得勤，这个想法本身挺值钱。
这篇我没一页页顺下来。摘要、结果表、一致性那节和结论是挨着读的，方法部分只扫了功效抽样那段。53 页，基线模型设置那几页跳过去了。先说实话，免得后面夸它写得好，你以为我全读过。
结果就那一张表。8 个新模型，比早前 7 个旧模型，平均 MCC 从 0.347 提到 0.365。0.018。我读到这停了一下，往回翻，确认自己没看错。更新、更贵的模型——换来的就是小数点后第三位那点移动。
真正让我记住的不是这个。是后面那句——不同二次研究之间的性能差异，比不同模型之间的差异还大。模型和模型之间那点方差，还没题目和题目之间大。换模型没用，先回头看看你那个综述的筛选标准清不清楚。这句话基本把「再等等下一个模型就更好用」这个念头拆了。
一致性那节也读了。8 个模型在对应筛选决定上总体一致，平均 Gwet's AC1 0.830——看着不差。但一拆到具体的纳入排除标准，有的条目分歧就大得多。这现象不奇怪，分类任务一到边界条件就散。有意思的是他们之后试的那个动作：细化标准。我看摘要时心里已经打了小抄，想「那不如把标准写细」。实验结果：召回率小幅上升，部分模型判断更容易，总体影响有限。有限。
我那个小抄还没用上就被原作者摁掉了。这大概是最让我意外的地方——作者自己把题目间差异大这个口子堵上试了，说用处不大。回头再看标题里的 stalled，不冤。
作者结论也直白：LLM 不足以替代人工完成论文筛选，更新更贵的新模型优势非常有限。53 页纸，一个负面结果，写得挺有耐心。这种把「我们试了新模型，没用」写明白的论文，比「我们又超过 SOTA 一点」更该被推。
未来方向列了三个：智能体方法、prompt 工程、细化标准。前两个是什么任务都能套的废话。第三个是从数据里长出来的，可又被自己的实验先摁住了。所以别指望这篇给你什么半夜坐起来的方向。它干的事更实在——把几个常见幻觉挨个戳了。换新模型就好，没有。总分类一致就够了，一到具体标准就散。标准写细一点能救，有限。
还有个细节——提交文件才 196 KB。我夹子里那些工具安装包随便哪个都比它大几倍，能读出来的东西没它十分之一。
这篇没法跑，只读了。不点链接也能带走的一句：值得做的事，是先把纳入排除标准写到能被新来的人无歧义执行，再考虑换模型。0.018 这个数，我够记一阵了。