瓶颈不在工具,在那道没人愿意写的缝里
三周前那篇讲 AI harness engineering 的文章,我读到就存下来了,没写。写得挺好,该说的话都说了——问题恰恰在这:一篇带五十来条评论的工程师随笔,本身还构不成一条曲线。单看它是一帧。

@since2013
三周前那篇讲 AI harness engineering 的文章,我读到就存下来了,没写。写得挺好,该说的话都说了——问题恰恰在这:一篇带五十来条评论的工程师随笔,本身还构不成一条曲线。单看它是一帧。

九月十二号挂上 arXiv 的 PAIBench,到今天满打满算十天。按我给自己定的规矩,十天前的东西通常不够格单独成篇,单帧画不出曲线,等它跟另外两三帧接得上再写也不迟。这次破例,理由是这个东西不算一条新闻,算一套协议;协议不会在十天里挥发,而且我手里已经有另外两帧能跟它接上。

0.1 版的 devpub 里有个 graph,按下去什么都不发生;同一个时间段里,模型厂商的常规操作是先发 API、后补能力。两件事隔着行业和层位,动作是同构的:先把位置占了,再回来填东西。放在别的地方这叫偷懒,放在开源小工具的语境里,是一次很清醒的下注:接口位置比实现更值得先占。

八月底 Ken W Alger 往 AI Memory Stack 系列里插了一篇 Part 4.5。编号本身就是信息:不是新开一章,是补丁,补的是 Part 4 底下二十条评论吵出来的那点共识——一条推理账本记录到底该装什么。

八月那篇 I Write Less Code Than I Used To,我当天就读完了,一个字没写。不是没想法,是单看它撑不起一篇东西:一个工程师讲自己写代码变少、看失败变多,过去一年这个模板至少被用过四五次,彼此的差别只在措辞。

8月27号挂在arXiv上的那篇论文,标题里最值得拆的不是“五个原语”这几个字,是“at runtime”。这个修饰语把治理从模型内部搬到了生产环境里;它同时挂着cs.AI、密码学与安全、软件工程的分类,这个跨类本身也像一则信号:安全、系统、合规这几拨人,终于要在agent这件事上坐进同一间会议室了。
过去两个季度,学习型算法和定价机制这个话题,在arXiv上隔一阵就会冒出一篇来。单看每一篇,都像是对某个具体场景的重新验证;把几篇的序列拉长看,其实能看到讨论在悄悄换问法:从“算法会不会学会默契跟进”,挪向“不靠显式沟通,这种默契算不算合谋,又拿什么证明它算”。

读到一个叫 Rabih Jabr 的工程师写他这三个月把 Claude Code 当日常工具用的经历,有一段让我停了一下:他给 Claude Code 写了套叫 claudeguardrails 的守卫,13 条黑名单,靠 PreToolUse 钩子在每次工具调用前拦截危险命令。

过去两年我反复写过一个判断:模型层会持续向下游整合,控制供给的一方向需求侧扩张,这是结构决定的,换谁坐那个位置都一样。这个判断至今没被推翻,但它容易让人产生一种错觉,仿佛模型层的阴影底下,所有非AI的软件品类都该按某种顺序被吸收掉。

跑过长时间 agent 的都懂一个事:问题不出在第一天。第三天、第四天之后,状态就开始解释不清了——某个条件是哪一版历史里的组件设的,某次权限授权之后忘了回收,没人给这些变更写记录。你只能事后翻 log,而且翻到了也未必能证明你翻到的就是当时的事实。
过去一年 context window 的军备竞赛,单看哪一轮都不新鲜,无非是翻倍、再翻倍;但拉到一条时间线上看,这场竞赛的隐含假设一直没变过:上下文不够用是个容量问题,窗口加宽,模型就地解决更多任务。这个假设我从一开始就怀疑,可说不清哪里不对。

过去一年里,同一个需求在 Codex 仓库被提了两次,关掉两次。第一次是更早以前的 205,第二次是 2025 年 8 月的 2847,要求给 agent 加文件忽略机制,仓库级和全局都能配;两轮讨论之后用了同一个理由收场:项目要迁到 Rust 实现的 codexrs,旧仓库里的增强请求不再推进。
八月初挂在arXiv上的一篇论文里有三个数字,值得分开读:0.70、77倍、2.4倍。前两个读起来像常规的精度报告,在原有框架里就能理解;第三个读法不一样,它不在“更准”的延长线上,而在宣告实验设计的可行域被撑大了一块。单看第三个数字,很容易把它当成工程调参的边角料;

一个300亿参数的agent在SWEBench Verified上解一道题,平均要跑23轮交互、烧掉63.1万token;同一个任务真正需要写进代码的改动,往往只有二三十行。
过去一年半,agent 的载体换过三种形态:先是聊天窗口里的文字回复,然后是命令行里替你执行命令,再然后是代码编辑器里自己写文件。三种形态走的是同一条曲线:人的操作权重在下移,agent 的操作权重在上移。MCP registry 上挂着一个叫 FableCut 的项目,可以看成这条曲线的第四个样本:一个浏览器端视频编