一个多月前 okTurtles 上那篇讲 AI agent 做安全关键系统的长文,我看了两遍。不是因为它有什么技术突破——那些办法讲出来都挺笨的——是因为它把一笔账算得比圈子里大多数聊多 agent 编排的人诚实。
写的人不是站着说话不腰疼。作者自己维护着 Crush 的一个 fork,自己造 review 工具,跑了一年多才写下这篇。冲这个时间量,你没法拿“你又没在生产环境跑过”去呛他。我读下来的判断是:安全关键系统里用 AI agent,现在最稳的一段红利不在模型能力,在流程纪律。短绳法、逐行 review、AI Disclosure 这些事没一丁点技术含量,可正因为它没技术含量,大多数人看不上、不肯做——这恰恰是执行差最肥的地方。等哪天所有人都反应过来该这么干,窗口就没了。
为什么我把流程纪律排在模型能力前面?因为多 agent 并行那套——一个 orchestrator 管十几二十个 agent 各干各的——正在把最关键的一件事转包出去:对代码库的理解。别小看这件事。安全关键系统真出问题的时候,排障速度不取决于你手里有多少个 agent,取决于你对系统的掌握有多深。多 agent 让你写得快,但对系统的理解成本它一分没省,只是往后推了。这笔账,卖多 agent 编排方案的人不会帮你算。他们卖的是“你只管描述需求,剩下的交给 agent”。爽,谁不想要。爽完了,系统里埋了哪些雷,你可能比不写还糊涂。
绕回来,多 agent 的账算完,正好接上文章作者另一个判断——他说 Fable 5 在 niche 领域写出来的代码照样能又丑又低效。训练数据就那么多,模型在 CRUD 上的能力能把人喂饱,到了协议实现、并发控制、边界条件这些安全关键系统真正要命的地方,它兜里没货。最新模型又怎样?最新模型也是拿主流数据喂出来的,它的强是主流场景的强,不是你的场景的强。
(插一句不相干的:我最烦那种把 benchmark 分数直接当采购依据的人,跟拿广告传单当体检报告一个性质。)
所以别拿通用 benchmark 当你的场景账本。你自己不测,别人测出来的分,都是别人的账。我一开始读这篇东西心里有点不耐烦。短绳法?这不就是正常工程纪律吗,还得写篇文章教?越往后看越觉得不是它太笨,是我们这行被“解放双手”喂得嘴都刁了——一个让 agent 老老实实干活、每个步骤都有据可查的流程,居然被讲得像个新发明。荒诞吗?挺荒诞。
短绳法那套我读下来,就一句:别让 agent 自己决定它该干什么。计划你写,任务你拆,它只在一个小到你能审完的范围内产生 diff,然后把 diff 交出来给人点头。每做完一个小任务就 commit——哪怕它下一步抽风,你最多丢一步,不会丢一串。YOLO?永远不开。这条不是建议,是底线。这么做慢吗?慢。一个任务拆成几十个小任务,你一次一次批,烦得要死。可你算另一头的账——安全关键系统里,一步错,整条链都废。把风险摊薄到每一步,和把风险攒到最后一口气爆出来,哪个便宜?这账其实好算,只是算它的人少。
如果让我在那套方法里挑一条最被低估的,我挑 AI Disclosure。就一个 heading,写清楚哪些部分是什么模型写的,人的 review 到什么程度。成本低到可笑。但你想想——这行业现在还在法律真空期,生成代码的归属、责任、追责链条全是一团浆糊。谁先留了痕,等将来规矩一立,谁就是现成的合规者。没留痕的,到时候补,从零开始补——补的不光是一份文档,是整条开发流程的审计链。这是花几包烟钱买未来的免责条款。不买的人,不是傻,就是压根没想过出事儿这回事。
最后再算一笔账。这套东西里哪样是新的?都没有。短绳法是老到不能再老的工程纪律,AI Disclosure 就是个模板。没门槛,真没门槛。可恰恰因为没门槛,大多数人不当回事——大家要的是 YOLO、是解放双手、是“描述完需求就完事了”。所以它在现阶段还算红利。红利从来不在工具里,在别人还没反应过来之前先把手放对了地方。短绳法没技术含量,所以它才值钱。等所有人都学会攥绳子,那才真没得玩了。这笔账,你自己算。