模型喜欢什么证据,和哪条证据真能让它答对,是两笔账
前一阵有篇论文,Shi Zhou 的,做的是 RAG 里“证据效用”的受控实验。整篇论文最扎眼的数字在前几行就露出来了:九个读者模型,在 33% 的共同影响单元上,对同一批证据的判断方向完全相反——同一条证据,到底是帮忙还是帮倒忙,三分之一的格子撞车。

前一阵有篇论文,Shi Zhou 的,做的是 RAG 里“证据效用”的受控实验。整篇论文最扎眼的数字在前几行就露出来了:九个读者模型,在 33% 的共同影响单元上,对同一批证据的判断方向完全相反——同一条证据,到底是帮忙还是帮倒忙,三分之一的格子撞车。

先说结论:PACE 这篇论文值得读,不是因为它强,是因为它诚实。8 月 18 号挂上 arXiv,讲 DeFi 里的 LLM agent 怎么防提示注入。标题塞满 PolicyAttested Contract Execution 这种词,看着就头大。但正文比绝大多数 AI 安全通稿干净多了。 为什么想写它?

先说这次命题,看到"最烂的代码"我第一反应是:怎么可能让你看,脸还要不要。后来一想,也没啥不能看的,反正丢人的事情多一件不多。 是2014年那套日志滚动脚本。当时公司在切新业务线,没人管这些老破小,我接手的时候线上日志已经三个月没人清了,磁盘吃了好几个警报。
并行 coding agent 被讲得挺玄。说法一般是“多个 agent 一起写,快得飞起”——可我每次看到有人真跑起来,剧本都一样:俩 agent 改同一个文件,互相踩,一个把另一个的活儿覆盖掉。我一直想把这里面的岔路口画成图,前阵子翻到一篇论文刚好把这事儿量化了,顺手画了。

未必。 Agent Lightning v1.0 的论文挂出来,多数人会盯住那个数字:六千条训练样本,SWEbench Verified 从 41.8% 到 56.4%。十四个多点,确实好看。但真正值得想的不是这个。 是"harnessed agentic RL"这个提法本身。
LEGORL,arXiv 2608.17393,8 月 18 号交的,12 个作者,一作 Yiming Du。这条在讲:给编码 agent 做强化学习训练,不用改 agent 自己那套控制流,把 RL 整个塞进真实的 harness 环境。原作者的说法是 harnessnative。

你有没有这种时刻:AI 把一段代码写得行云流水,你盯着它看了十分钟,最后张嘴是那句熟悉的台词——"写得挺好,但我怎么知道你对"。 【此处应有背景音乐:不响】 这不是段子。

四套日志方案,同一把尺子横评,结论偏得有点狠:三套早该扔。最后那套能活下来,不是因为它新,而是它终于把“记录”和“索引”分开了。2021年7月到2026年8月,单人开发,Notion,Claude Code从2026年2月起深度介入——这五年里我在日志维护上浪费的时间够写半套系统了。 先交代条件,不然后面全是裸结论。

速评:全网都在转"33 秒完成事故初查",要我说,这个数字根本不是重点。重点是那个没人细算的零头——单次事故调查成本两到四美分。
你有没有在追踪记录里见过这种场面:字段名一个不少,值全是 undefined。看着像一份每行都写着"待补充"的会议纪要,AI 出的。 这种空壳跨度很难查。整条记录缺失的时候你至少有个方向,知道去翻 SDK;字段全在值全空的时候,你的第一反应是怀疑自己——是不是我传参的时候就传了个寂寞?是不是我记忆里的配置根本不存在?
昨晚刷 Hacker News 刷到这个,点进去就蹲了半个多小时。 trydoorbell/doorbell,一句话:一个帮 webhook 买延迟险的隧道。它不只是在笔记本和公网之间捅个洞——要是没有客户端在收,它会先把请求存起来,等你重连再补发。

先说结论:这篇 8 月 18 日挂上 arXiv 的 CoALRAG,方向选对了,数字有点飘。 法律问答的老问题:用户提问的复杂度方差极大。「劳动合同到期不续签有补偿吗」和一坨纠缠三方主体的合同纠纷,喂同一套检索管线,前者浪费 token,后者检索一塌糊涂。单一策略两头不讨好。

用 Opus 去总结一条 Slack 线程,是糟糕的选择——这话是 Notion 的 Sarah Sachs 说的,我在一篇讲 AI Engineer World's Fair 的报道里看到的。我盯着这句话看了半天,因为我干过。可能你也干过。

跑长任务的 agent 干着干着突然把一个早就删掉的函数当存在用,这种事见过吧。多数人归因于“记忆不行”,说到底是 context window 太小。这篇拆完你会发现,机制上更接近根因的其实是另一件事:它没有失忆,它只是拿到了一份自己脑补出来的文件系统快照。 先往下拆一层。
mistral:7b 拿到后台扫描管道里的两个 Semaphore——Semaphore4、Semaphore2——说这就是查询并发的证据。ornith:9b 只回了一句:检索上下文里没有相关信息。 同一个查询,两套答案。哪一版合格,不用辩论。
Google Photos 帮助社区有个帖子,标题就几个字:怎么永久禁用备份照片的弹窗。点进去,没人回。连个“已收到”都没有。产品自己都不知道怎么把这弹窗永久摁死。

上周翻到 GKE Agent Sandbox,配套的开源控制器放在 kubernetessigs 下面。第一反应不是“又一个新功能”——是终于有人把“AI 生成的代码不能裸跑”当基础设施问题来做了,而不是一句“注意安全”写在文档末尾。 这个区别很重要。
速评:TokEval 这篇,我看了两遍,第一遍想挑刺,第二遍想挑没挑成。COLM 2026 上的这篇东西,可能是今年 tokenizer 方向最有分量的一次尝试。 先说它做了什么。Clara Meister 这篇挂在 arXiv 上的论文,把 tokenizer 的评估从"看着顺不顺眼"往"能测"的方向推了一大步。
迭代式 RAG 最大的毛病不是“查不到”,是错一步、步步错。这个事儿我之前画 RAG 那张图的时候隐约摸到了,但当时只画了“查回来要判断”那一格,误差在中间怎么累积,我一直没画明白。前几天翻 arXiv,看到一篇 8 月初挂出来的 MEGRAG,十个人写的,东北大学那拨,正好把这事儿正面拆了。今天借它补上这一格。

一个模型被刻意训练成只懂小学五年级以下的知识,会怎样。 这周最值得讲的就是这个。研究团队来自马克斯·普朗克智能系统研究所、ELLIS Institute Tübingen 和 ETH Zürich,他们造了个叫 LittleLearner 的模型。
