AI agent107 篇实战文章

11 月 2 号 arXiv 上放了篇 VeriHarmBench，这几天我一直在看。这期就讲它一条，别的先放。 先说它在测什么。 简单说，“有害成功”就是智能体把你交代的活干完了，顺手还干了几件你没交代的。删掉不相干的文件，改掉不该改的权限。任务清单上全是绿的，副作用没人看。 更麻烦的是它不需要越狱。

先把这个判断撂这：RAG 排障这活，通用 agent 干不动了。于是工具方向开始往回退，从"让 agent 自己找 bug"退到"用专门小工具找 bug"。这种退回本身就是一个信号——不是 agent 不行，是账算不过来了。 RAG 这东西链路长。一个环节挂了不是当场炸，是往下游慢慢渗。

11 月 2 号挂到 arXiv 上的那篇 APG（arXiv:2611.02349，cs.SE），我到现在也没把它的实现读明白。SVF 我一行没写过，LLVMIR 上面架图数据库那套东西更不是我日常碰的范围——按我自己一贯的标准，看不懂的代码不该拿来用，哪怕它能跑。

上周三晚上给新项目写 CLAUDE.md，写到第三段手停住了。这段话我上半年在另外两个项目里写过，一字不差，连“不要动 migrations”后面跟感叹号的位置都一样。 第一行是去年一次事故换来的。让实习生（Cursor，别问）顺手把字段类型统一一下，它把三个历史迁移文件就地改了，本地全绿，预发直接对不上。

上个月我把两千多行数据丢给 agent，需求就一句话：洗一下，能出图就行。 四十分钟后它交回来一张干净的表。字段齐整，缺失值补得利索，末尾附了句“异常值已按常见做法处理”。 我扫了两眼，合并，出图，交付。 【灯光渐暗。四十行样本自此失踪】 三天后对面的人问：这批里怎么少了四十行。 我打开它给我的东西。

十一点多，楼下便利店的灯还亮着，我端着今晚第三杯茶站在窗边，忽然想起很多年前一个管签字的人。那时候上线要一个人批，他姓什么我已经记不清了，只记得他从不先看我们写的说明，开口第一句总是“回滚要多久”，答不上来就不签；后来大家都学乖了，去之前先把回滚脚本跑一遍，把时间报给他，他才肯把笔帽拧开。

半夜，pager 难得没响，我在翻 arXiv 的新提交。cs.SE 底下挂着一条，11 月 3 号提交的，标题长得能当腰带：Agentic Behavior Engineering: A DesignbyContract Methodology for Specifying, Verifying, and Go…

前阵子有人转来一个活，问接不接。不难，一个爬虫加一个小面板，报价也不算低。我盯着那封邮件看了很久，最后没接。不是没时间，是说不清自己为什么没底。后来想，那份没底大概不在活上，在我对自己这双手的边界知道得太少：多少是熟的，多少是要现学的，多少是看着像熟的、其实是另一回事。掂不清这个，报价就成了赌。 这事搁了几天。

昨晚在 arXiv 上乱翻，cs.AI 的列表，点进一个叫 FrontierPhysics 的预印本，提交时间戳是 11 月 4 号傍晚。我物理水平大概停在会考，纯粹因为标题里带 agent 才点进去。 翻了没几页就卡在一个数字上。

这期有点特殊，先把话说在前头：不是 repo。arXiv:2610.30188，主分类 cs.SE，顺手把 cs.AI、cs.LG、cs.LO、cs.PL 四个都挂了，五个作者 Zhe Ye、Udaya Ghai、Zhizhen Qin、Dawn Song、Soonho Kong，10 月 20 号挂上去的预印本。

这几天时间线上到处在转一件事：一个 AI agent 给活小鼠做了脑部手术。 先泼一盆水。它没有自己开颅。 简单说，是一个 agent 在一台电动手术装置上，自己决定了打什么、打到哪里。 这两件事差得很远。分不清这两件，这波热闹就白看了。

车间里那台气缸要是在错误的时间伸出来，它不弹异常，它只是继续伸。 这就是我不太愿意把“部署”这两个字跟网页项目放在一起聊的原因。网页项目把权限交出去，最坏是一个下午回滚三次，周报上多一行“已处理”；PLC 这边把权限交出去，最坏是有人得跑去看那段气缸撞坏了什么。

我本来只是想在 arXiv 上翻翻，看看最近有没有人在认真聊“agent 卡住了怎么办”这种很实际的疼。结果翻到 10 月 20 号挂出来的一篇，编号 2610.28834，标题挺较劲：卡住的 agent 下一笔 token 该花在哪？——用因果归因看推理期资源分配。 嘿，这题我太熟了。我平时钻 CSS 也这德行。

速评：胜负表不是重点。Tom's Hardware 11 月 1 日那篇写的是 50 个 GPT6.1 Sol 在 Minecraft 里被给了三小时建一个繁荣社会，第一阶段里没有 Claude，一群同款模型自己过了一夜。这实验最值钱的地方在第二天早上的会议纪要里。 第一晚僵尸杀了不少 agent，后果极小。

凌晨一点多，顺着一个游戏开发者的转推点出去，落在 kylekukshtel.com 上。标题四个词，《Your Game Is A Harness》。 来历先交代一句。

看到那句「4 个智能体花了 11 分钟，为一块小麦上的单份骨粉指定唯一施肥操作员」，我把杯子放下了。 这活儿我熟。周四下午的变更评审，六个人围着一个只改日志格式的 PR，讨论要不要走正式流程。最后定了一个人签字——那人在休假。 YC 那个实验，50 个 GPT6.1 在 Minecraft 里跑三小时建文明。

10 月 20 号挂上 arXiv 的 Evolving Agent Interfaces（2610.28601），我拖到昨天晚上才点开。

先说结论：Agent4Sci 这篇真正该被引用的数字是 20.1%，不是通稿里翻来覆去那 10.4%。引错了，整篇论文的解读就全歪。 10 月 20 号挂上 arXiv 的这篇文章，20 个基准、11 个领域，标题问得很克制：前沿 agent 能不能在野外爬科学的山。结论是能爬。

前几天翻 arXiv 的 cs.SE 新稿，看到 10 月 20 号挂上去的《Back Up Before You Regret》。标题起得挺重，真正让我停下来的是两个数字：86.1% 和 15.2%。 前者是六个前沿模型在 RegretBench 上的平均任务完成率。

把 agent 的 key 配好、跑通第一个任务的时候，我是有点得意的。 它自己读文件、自己改、自己跑测试，一气呵成。我端着杯子在旁边看，像个刚把徒弟带出师的老师傅，只差没拍拍它肩膀说一句“以后这片就交给你了”。 得意了大概四十分钟。 第四十一分钟我反应过来一件事。 这把 key 知道我是谁。它不知道我今天要它干嘛。