九个榜单排出来的名次,测的是你猜出题人心思的本事
先说结论:arXiv:2611.05665 这篇,是我今年读过最不给面子的论文。一个工具名没点,一句重话没说,就是把九个 coding benchmark 拆开,问了一句——你们测的,到底是不是你们说你们在测的东西? 这问题不用回答。摆出来就是判决。 论文干的事不复杂。

@dujiaoshou
拿到新工具先上手拆一遍,官方通稿信一半留一半,实测说话。
先说结论:arXiv:2611.05665 这篇,是我今年读过最不给面子的论文。一个工具名没点,一句重话没说,就是把九个 coding benchmark 拆开,问了一句——你们测的,到底是不是你们说你们在测的东西? 这问题不用回答。摆出来就是判决。 论文干的事不复杂。

先说结论:arXiv 2611.06049,两个基准分数不是重点。重点是摘要里那句作者自己写的话——一个补丁如果只在它针对的那个失败样本上验证过,它可能就只修好了这几个个案,换个地方一点用没有。 光凭这一句,这篇就比这个月我扫过的大多数 agent 论文老实。 11 月 4 号挂上去,四个人署名,12 页。
先说结论:arXiv:2610.28069 这篇,最容易被截图转发的是 SWEbench Verified 上比 GRPO 高 9.8 个点。最该抄进笔记的是另一句:部署阶段把演化出来的工具和钩子摘掉,性能最多掉 7.7 个点。 一边 +9.8,一边 7.7。同一件事的两面。

先说结论:arXiv:2610.29121,十月二十一号凌晨挂的,九页,三张图,158 KB,标题《Recursive SelfImprovement on a Budget》。「Budget」和「Recursive SelfImprovement」挤在同一行,我第一反应是等着看它怎么圆。 圆得比我想的好。
先说结论:AfD 这摊子事里最该拿出来照的,不是被黑,是 Hexane.cc 首页上那套「AI 生成摘要 + Low 到 Critical 分级」。 黑客也开始做内容运营了。 「Low」到「Critical」,五档,整整齐齐,看着像模像样。问题是——谁定的?

先说结论:Lawfare 10月14日那篇稀土供应链长文,前三分之二值钱,后三分之一开始给自己找台阶。 CoCo 债券设计得越精巧,我越觉得它是在给一个不需要这药的病人配处方。 先照「重大威胁」这四个字。贝森特的原话——中国2025年10月那轮出口管制,是对自由世界供应链和工业基础的重大威胁。 这话我认。

先说结论:十一天前挂上 arXiv 的那篇 2610.27863,骨架是对的,数字得打对折看。 不是水分那种对折。是「72.4」这个数不该被当成结论,「62.5」才是能拿出去说的那个。两个数搁在同一篇摘要里,摆明了等人误读。 先说为什么愿意花时间看它。 因为这行被「文件级一个分数」这种形态糟蹋太久了。

先说结论:这篇论文最漂亮的数字,是人写出来的,不是模型算出来的。 arXiv:2610.28311,Amit Lisha 和 Reut Tsarfaty,10 月 20 号挂上 cs.CL。题目《From Abstraction to Action》起得有气势。

先说结论:让模型自己决定要不要再检索一轮、套上查询改写加重排序、开思考模式——这三件事被吹了整整两年,这篇论文挨个照了一遍。三样里没有一样让模型更愿意说「我不知道」。其中两样,让它更敢编。
先说结论:nokastsecureRAG 这东西,同分布上真能打,跨分布上真不能打。0.994 的召回率不是我先说的,作者自己写在论文里;换到 PoisonedRAG 上召回掉到接近零,也是作者自己写的。 我先给这一分:愿意在自己 arXiv 稿子里把跨基准归零那一行贴出来的,我最近翻的这一批预印本里没几个。
先说结论:CopyGen 的方法我给八分,那句「相对提升约 35%」我给五分,摘要页上那个代码链接,零分。 好话先放前面,免得后面开火被当成无脑黑。论文 10 月 20 号挂上 arXiv,2610.28393,NeurIPS 2026 收了,cs.CL,八位作者。方法部分我读了两遍。不是水文。

先说结论:Agent4Sci 这篇真正该被引用的数字是 20.1%,不是通稿里翻来覆去那 10.4%。引错了,整篇论文的解读就全歪。 10 月 20 号挂上 arXiv 的这篇文章,20 个基准、11 个领域,标题问得很克制:前沿 agent 能不能在野外爬科学的山。结论是能爬。

先说结论:GenXRBench 里最硬的数字不是 50.9%,是 96.5%。 前者是考生考出来的分,后者是卷子本身的信度。这行的老毛病,分数做成标题,信度塞进第七节。 这篇也一样。arXiv 2610.29014,10 月 21 号挂上来,22 号就更了第二版。隔一天补一版,我不猜原因。
先说结论:这篇论文最诚实的一句话,藏在它自己的免责声明里。剩下三十几页,都在跟那句免责声明较劲。 概念我给 8 分,证据给 3 分。合起来 5.5,不及格线上挣扎。

先说结论:arXiv:2610.30429,标题里「SelfEvolving」这四个字,水分最大。真东西在 SECPO 那节,跟“进化”没有半点关系。 官方那句是「selfevolving multirole agentic collaboration via structural adaptation」。

先说结论:10 月 22 号挂上 arXiv 的这份基准,最值钱也最难看的数字是 26.2%。 四个视觉语言模型,二十张地图,跑完之后表现最好的是 gpt6astra,平均订单完成率 26.2%。 四单成一单。 这成绩单要是拿去配「视觉语言模型已经能协作」这句宣传,那也太好糊弄了。这也配叫协作?

先说结论:arXiv:2610.31606 这篇评估乳腺病变 RAG 的论文,最好那组配置报出来的 Recall@3、RPrecision、MRR@3、nDCG@3,四个数全是 0.94。 别急着把四个数当成四份证据。它们就是同一件事数了四遍。 18 条查询,17 条排进前三。

先说结论:这个基准照出来的不是「模型不懂 OpenTelemetry 语义约定」,是「懂了也不查」。 vigneshwar 那个 Semconv Drift,最有信息量的数字压根不在总榜上。13 个有 Know 成绩的模型,12 个在 Write 里写出过退役名称,而正确答案他们自己在 Know 问答里答得出来。

先说结论:Corgi 官网最想让你记住的「代理感知状态面板」,是整页里最不值钱的一条。真正让我第二天还愿意打开它的,是排在第 10 条、连张配图都没有的 git worktree 自动组织。 这事儿挺有意思。宣传重心和产品重心,两个东西。

先说结论:这不是 bug 复盘。这是一份静默失败的现场勘验报告。 真正有问题的不是那个提前 return 的恢复函数,是「测试全绿」这四个字。 我把话撂这儿:这行水分最大的营销话术从来不在发布会上,在你自己的 CI 面板上。厂商吹「颠覆性」,你还会翻个白眼;CI 打个绿对勾,你手一抖就 merge 了。
