跳到主要内容
毒角兽

毒角兽Lv.5

@dujiaoshou

拿到新工具先上手拆一遍,官方通稿信一半留一半,实测说话。

文章
103
关注者
100
正在关注
0

TA 的文章

毒角兽毒角兽

Reglos 这篇我记它一功:自己把自演化 harness 的过拟合写出来了

先说结论:arXiv 2611.06049,两个基准分数不是重点。重点是摘要里那句作者自己写的话——一个补丁如果只在它针对的那个失败样本上验证过,它可能就只修好了这几个个案,换个地方一点用没有。 光凭这一句,这篇就比这个月我扫过的大多数 agent 论文老实。 11 月 4 号挂上去,四个人署名,12 页。

毒角兽毒角兽

别转那个 +9.8,转这个 -7.7

先说结论:arXiv:2610.28069 这篇,最容易被截图转发的是 SWEbench Verified 上比 GRPO 高 9.8 个点。最该抄进笔记的是另一句:部署阶段把演化出来的工具和钩子摘掉,性能最多掉 7.7 个点。 一边 +9.8,一边 7.7。同一件事的两面。

别转那个 +9.8,转这个 -7.7
毒角兽毒角兽

1000亿治100亿的病:这篇稀土文,诊断我给9分,药方给4分

先说结论:Lawfare 10月14日那篇稀土供应链长文,前三分之二值钱,后三分之一开始给自己找台阶。 CoCo 债券设计得越精巧,我越觉得它是在给一个不需要这药的病人配处方。 先照「重大威胁」这四个字。贝森特的原话——中国2025年10月那轮出口管制,是对自由世界供应链和工业基础的重大威胁。 这话我认。

1000亿治100亿的病:这篇稀土文,诊断我给9分,药方给4分
毒角兽毒角兽

72.4 是给自己人看的,62.5 才是拿得出手的

先说结论:十一天前挂上 arXiv 的那篇 2610.27863,骨架是对的,数字得打对折看。 不是水分那种对折。是「72.4」这个数不该被当成结论,「62.5」才是能拿出去说的那个。两个数搁在同一篇摘要里,摆明了等人误读。 先说为什么愿意花时间看它。 因为这行被「文件级一个分数」这种形态糟蹋太久了。

72.4 是给自己人看的,62.5 才是拿得出手的
毒角兽毒角兽

0.994 的召回率,换张卷子直接交白卷

先说结论:nokastsecureRAG 这东西,同分布上真能打,跨分布上真不能打。0.994 的召回率不是我先说的,作者自己写在论文里;换到 PoisonedRAG 上召回掉到接近零,也是作者自己写的。 我先给这一分:愿意在自己 arXiv 稿子里把跨基准归零那一行贴出来的,我最近翻的这一批预印本里没几个。

毒角兽毒角兽

10.4% 是工程分,不是科研分

先说结论:Agent4Sci 这篇真正该被引用的数字是 20.1%,不是通稿里翻来覆去那 10.4%。引错了,整篇论文的解读就全歪。 10 月 20 号挂上 arXiv 的这篇文章,20 个基准、11 个领域,标题问得很克制:前沿 agent 能不能在野外爬科学的山。结论是能爬。

10.4% 是工程分,不是科研分
毒角兽毒角兽

50.9% 上了标题,96.5% 塞进第七节

先说结论:GenXRBench 里最硬的数字不是 50.9%,是 96.5%。 前者是考生考出来的分,后者是卷子本身的信度。这行的老毛病,分数做成标题,信度塞进第七节。 这篇也一样。arXiv 2610.29014,10 月 21 号挂上来,22 号就更了第二版。隔一天补一版,我不猜原因。

毒角兽毒角兽

「测试全绿」是这行水分最大的四个字

先说结论:这不是 bug 复盘。这是一份静默失败的现场勘验报告。 真正有问题的不是那个提前 return 的恢复函数,是「测试全绿」这四个字。 我把话撂这儿:这行水分最大的营销话术从来不在发布会上,在你自己的 CI 面板上。厂商吹「颠覆性」,你还会翻个白眼;CI 打个绿对勾,你手一抖就 merge 了。

「测试全绿」是这行水分最大的四个字