BixBench3 这条基准,得分最高的反而最省 token
这条在讲一个计算生物学的 agent 基准,叫 BixBench3。出处是 arXiv,8 月 26 号提交的,归在计算机科学人工智能子类。原作者一共 8 位,领头的叫 Zane Koch,收尾的有 Andrew White 和 Jon M. Laurent——中间几位做蛋白设计、做感染模型的,名字太杂,不抄了。
这条在讲一个计算生物学的 agent 基准,叫 BixBench3。出处是 arXiv,8 月 26 号提交的,归在计算机科学人工智能子类。原作者一共 8 位,领头的叫 Zane Koch,收尾的有 Andrew White 和 Jon M. Laurent——中间几位做蛋白设计、做感染模型的,名字太杂,不抄了。
8月27号挂在arXiv上的那篇论文,标题里最值得拆的不是“五个原语”这几个字,是“at runtime”。这个修饰语把治理从模型内部搬到了生产环境里;它同时挂着cs.AI、密码学与安全、软件工程的分类,这个跨类本身也像一则信号:安全、系统、合规这几拨人,终于要在agent这件事上坐进同一间会议室了。
准确和忠实,是一回事吗? 不是。这期小抄只有一张卡,是上周挂上 arXiv 的一篇论文。它把这两件事拆开量了量,量出一个不太好听的结论。 论文盯的是 RAG 系统里一个省钱的做法。把检索文档的 KV cache 提前算好、存起来,查询来了不用每次重新编码。再进一步,把这些缓存做量化,存储还能再省一截。

上个月有天晚上,小杰突然拉我进一个群。群里有个大哥说有个小项目要找人做,改一个老系统,JSP那种太古早的东西。我问了下要改啥,他说就是几个页面加个功能。听起来真的不难,我就说,那得看下代码才能定。 然后他说行,明天他把代码发群里头。 第二天他真发了一个zip包,跟我说这是他们公司内部用的系统,让我看看报价多少合适。
这条在讲 P4DT,一个用来预测严重疾病患者治疗偏好的智能体。出处是 Natasha Ureyang 那组做 HCI 的人,一共12位作者。 我一开始没点。标题读起来像那种例行论文——“AI 预测准确率超过人类”——这类东西我夹子里存了好几篇,大多点开读两段就关。

退出码 127,command not found。一个部署门禁用 node e 去解析健康检查接口的返回,拿真实响应、当场解析、当场断言,思路本身没毛病,毛病在部署环境里根本没有 Node.js。于是连续六次部署死在 127 上,而门禁这一步在审查界面上始终是绿的。

你有没有想过一个问题:AI 聊天助手把一段带文档引用的回答存进数据库之后,下一次回放这段历史的时候,凭什么还觉得那些引用有效? 很多人第一反应是"这有什么好想的,当时查出来的,当时就是对的"。但这个说法只对了一瞬间——对的是写入的那一刻,而聊天历史是拿来读的,写入和读取之间隔着的不是空白,是时间。

SourceHut 8月底改服务条款那事儿,圈子里吵得凶。具体措辞是:禁止“使用LLM或其他生成式AI编写的原创内容”。注意这几个字——“原创内容”。我第一眼看到愣了几秒:生成式AI产出的东西,什么时候配叫“原创”了? SourceHut把这两个词挨在一起,恰恰说明他们看到了问题所在。
先把这个结论撂这:WikiSkill 最狠的地方不是它又刷了几个点,是它把“技能”从一个模糊、绑在模型和 agent 经验里的东西,变成了一本可以单独搬走的账本。模型能换,模型家族也能换,技能库不换。这对做模型的是坏消息,对手里攥着真实执行场景的人是好事——热闹的是做模型的,赚钱的可能是攒场景的。

上周四在 arXiv 刷到那篇论文,标题直白到有点愣——《ASIL: Replacing ScreenshotandClick with Structured State and Semantic Actions》。看到前三个词我第一反应是:又来了。
速评:这篇论文上周上 arXiv,我读了两遍,越读越觉得它根本不是来教你怎么修 hallucination 的——它是来告诉你,修这个动作本身就在折价,你只是有权挑一种折法。 论文做的东西不复杂:RAG 场景里,模型拿检索来的文档回答问题,还是会产生没依据的陈述。
David Cramer 最近有句话在圈里传了半截。原话针对 AI 生成代码:指望 LLM 会持续改进、把历史累积的劣质代码清理掉,这个设想不现实。原话更重——“像这样的代码生成是 100% 有问题的”。前半句多数人点头,后半句基本没人敢接。

Demo 2 v72。 我盯着这个版本号看了半天。不是 v7.2,是七十二。上面一行是 Demo 1 v38。一个叫 Orbify 的挪威团队在做导航,整站口号就两个词:Navigation Reimagined。demo 直接挂在页面上,按一下 Start navigation,人就站在一座体育场里了。

拿到这论文的时候我第一反应是标题党。"从提示的语言学特征预测 LLM 表现"?看这架势像是要把 prompt 工程从手艺活变成计量经济学。 但我还是点进去了。9000 个受控变体,625 条标注需求,5 个开源模型。

速评:arXiv 上这篇 8 月 29 号挂出来的 Engram Adapter,真正有意思的地方不在涨了多少点,而在它终于把一件大家习惯性装没看见的事摆到了台面上——adapter 是“始终开启”的,而始终开启的东西,在领域外一定会闯祸。 这事在 PEFT 文献里其实一直是个半公开的秘密。

过去两个季度,学习型算法和定价机制这个话题,在arXiv上隔一阵就会冒出一篇来。单看每一篇,都像是对某个具体场景的重新验证;把几篇的序列拉长看,其实能看到讨论在悄悄换问法:从“算法会不会学会默契跟进”,挪向“不靠显式沟通,这种默契算不算合谋,又拿什么证明它算”。

PCFBench 这篇论文真正值钱的,不是「模型准确率还不够高」这句废话。它把一件更麻烦的事摆台面上了:AI 现在做碳足迹估算,撑死算个草稿水平,离签章还差得远。而碳足迹这个数,恰恰是未来几年里少数几个会变成「法律责任」的 AI 输出。代码错了还能修,碳数据错了,账本上记的是钱,而且不是你一家企业的钱。

速评:这篇今天刷到我时间线上的论文,讲的是把图当成一种临时存储,而不是把整个知识库做成图。思路不新,上一波RAG图增强的浪就有人提过类似视角,但页面标题这行字才是重点——四作者,十三页,这不是那种团队作战的工程报告。 先摆数据:8月30号提交,挂cs.AI,到今天一周。

对自己引擎下手的注入测试,三个对抗性目标全被 replanaborted 拦下,本身不算稀奇。稀奇的是作者事后的归因:PlannerCritic 能扛住直接注入,靠的居然不是提示词,不是模型识别能力,而是确定性架构。这句话值一篇。 先别管双模型怎么设置。最朴素的防线你会怎么搭?

为什么 AI 会一本正经地给你一个不存在的网址? 简单说,不是模型坏了,是它太会把话说圆。上下文不够的时候,LLM 不会卡壳。它会拿旁边的真材料,顺手拼一个像样的答案给你。 这期只收一条。八月底 dev.to 上有篇修复记录,我觉得值得单独占一期。