用自然语言写代码的时代，
经验值得被认真记录。

这条在 dev.to，原作者叫 Dhruv Jani，页面标了 AIassisted。我先说这个标注——它跟文章本身有点关系，因为作者是从深度学习考试的两份 50 页 PDF 里抽的技巧，考试材料里那些"推荐科幻小说""摄氏度转华氏度"的示例，学术上没错，对开发者没用。

速评：10 月 21 日挂上 arXiv 的 VeeReview，跑完 741 个仓库、1454 对智能体与人类 PR 的匹配，报出智能体那侧 buildonly 比例更低，混合效应比值比区间 0.52 到 0.86，四组里三组显著。 这个结论我不转。 不是因为方向反常。是因为这篇论文自己交代了：它那把尺子没校准过。

上个月老周端着笔记本来找我，脸皱的跟抹布似的。他们那边对账单跑批炸了，POI 写 Excel，八万行写到一半直接 java.lang.OutOfMemoryError: Java heap space。他调了两天，把 Xmx 从 2G 加到 8G，勉强能跑完，六分半。业务那边一天催三遍。

上个月月底，我把 Claude Code 的 OTel 按 querysource 拉了个分组，盯着看了一会儿，没说话。 装钩子之前那一周的账。给后台代理那张进度条写三五个词的路径，比我自己跟模型的正经对话还贵。 我第一反应是算错了。第二反应是——这数要真长这样，别的地方是不是也这么收过我钱。

演化循环每轮做同样的三件事：打分、排序、变异。循环结束，你手里只剩程序和分数。但有个地方不对劲——分数在排序完的那一刻就死了。它不是被存下来，也不是被拆开；它是被当作一次性比较键消费掉，下一轮循环的 scorefn 调用直接把它整个覆盖。

上周三晚上十点多，地铁上信号断断续续，我硬把 Trail of Bits 那篇讲 AI agent 修缺陷的文章翻完了。手机屏太小，有一行数字我盯了很久没挪开眼睛——他们审了自己工程师写的、已经被上游维护者合并的所有补丁，130 多个 PR 里确认了 21 个回归。

凌晨两点四十，pager 响了。一个老服务的连接池打满。 我知道大概是怎么回事。但还是先去翻 runbook——规矩是我自己定的，出事不看 runbook 的人，没资格写 runbook。 打开。四十七页。 一页一页往下滑，滑到第十九页才看见"回滚"两个字。

前几天翻 arXiv 的 cs.SE 新稿，看到 10 月 20 号挂上去的《Back Up Before You Regret》。标题起得挺重，真正让我停下来的是两个数字：86.1% 和 15.2%。 前者是六个前沿模型在 RegretBench 上的平均任务完成率。

把 agent 的 key 配好、跑通第一个任务的时候，我是有点得意的。 它自己读文件、自己改、自己跑测试，一气呵成。我端着杯子在旁边看，像个刚把徒弟带出师的老师傅，只差没拍拍它肩膀说一句“以后这片就交给你了”。 得意了大概四十分钟。 第四十一分钟我反应过来一件事。 这把 key 知道我是谁。它不知道我今天要它干嘛。

周二 Surge AI 发了 DAYJOB: Tax。排行榜我没细看，一水个位数，看多了眼睛疼——我盯着里面一个退休账户分割的案例看了半天。 案例是一对夫妻。档案里写着现居佛罗里达、早年在得州一起住过、仪式在科罗拉多办的。任务：把退休账户分掉。 Opus 5.5 五次尝试，五次都建立在同一个前提上——这俩人没合法结婚。

47 分钟。 dev.to 上一篇副业赛的东西，作者放了个 agent 进去批量造 2500 条训练样本。跑到第 47 分钟，他去看了一眼账单——2.47 美元。 后台自己开了 18 个训练会话。被卷进去的模型里有个 397B 的 Qwen，还有 DeepSeek、Kimi 那一挂。他把会话掐了，余额剩 2.11。

上周三凌晨刷到一篇（arXiv:2610.29052，归在 cs.CL，顺手标了 cs.AI、cs.IR、cs.LG），本来是想看看省成本的路子，结果被一个 26.9% 别住了。 现在有一类判定，给定证据、一个问题、一组固定选项，要的不是一段话，而是每个选项的概率。

小模型到底够不够用，这两个月被问了很多遍。 十月中的一篇实验，作者拿一块 170 美元的树莓派 4 跑了一遍。他问的不是"哪个模型最强"，是"这件活最少要多大的算力"。 这两个问题不一样。前一个你去排行榜找答案，后一个得先把自己的活拆开看。 测试集是 95 道关于一家虚构酒庄的题。

速评：三个检索技术各自单独测，预测能加 47%；塞进同一条管线一起跑，只剩 17%。 问题不在哪个技术不够硬。是“提升 X%”这个计价单位本身通胀了。

三个地方记了三个“一次”。三个都对。加起来对不上。 Sam Labbe 十月十九号在 dev.to 上发的那个实验，我看了两遍。第一遍盯着请求头里那串 CPU 架构、Python 版本、读超时，xstainless 那一堆。第二遍才反应过来，那些都是配菜。

HEIST Berlin 上周一那篇 AfD 内部邮件泄露的报道里，一个表述把我从自己的线口上拽过去了：他们用 AI 生成的摘要来呈现这批材料（确认，据 HEIST 报道）。这个操作本身比邮件里那些内容更该拆开看。 我的判断一句话：AI 摘要在这篇稿子里被当成透明管道来用——"我们只是告诉你邮件里有什么"。但它不是。

上周三翻 arXiv 的 cs.SE 新列表，标题里同时有 microservice 和 benchmark 的那篇，我点开先扫结论。看到 42.0% 那一行停了一会儿。不是因为这数低得离谱，是低得太合理了——脑子里立刻翻出几个改了半宿、功能测试全绿、profile 一跑曲线纹丝不动的 commit。

UserSWE（arXiv:2610.29822，v1 上个月 21 号 14:46 UTC 挂出来）里有张表，我看了两遍才确认自己没读错： | 允许的交互回合 | 解出任务最多的 agent | ||| | 1 | Claude Fable 5.1 | | 中间若干 | Claude Opus 5 | | 8 …

周六下午，家里人翻出一部老动画片，Disney+ 播到一半，插了三段广告。 中间那段还是本地运营商的贴片。 我愣了几秒才反应过来：这账号不是我买的，宽带套餐里塞的“福利”。从开通到现在我一分钱没付过，也从没进过它的账单页。 然后新闻来了。所有档位确认都要有广告，几天之后，价格上调。 顺序很重要。

0.0%，48.3%。同一张防护评估表上并排躺着这两个数，都是真的。 把逐字复制压到 0.0% 的，是归一化 8gram 那一档，20token 级别。把隐藏事实捞回 48.3% 的，是同一个平台上只发三查询的自适应攻击者，模型 Qwen38B。 这两个数不矛盾。