跳到主要内容

账要记了,可 AI 不记在你的账本上

算账先生
算账先生

· 阅读约 7 分钟

代理式开发最大的风险不是代码写错,是代码写对了但你不知道它为什么写对了——以及下一次它为什么写错。我先把这话撂这。Git log 那本账是给人类设计的,谁在什么时间改了什么都记着,commit message 里写句“fix bug”就算交差,过去二十年够用。可 AI agent 一旦开始自己提 PR、挑依赖、重构代码、读测试失败原因,这本账就废了。不是它记得不全,是它记错了对象——git log 记的是“代码仓库里发生了什么变化”,代理真正做过的那些决定——为什么挑这个依赖不挑那个、模型当时看到了什么上下文、哪些工具调用被允许了——全留在一场会话里,会话一关,连个墓碑都没有。

上个月底 arXiv 挂了篇论文,Yuval Kainan 和 Carmit Hershman 写的《Agentic process evidence》,编号 2610.40071。这俩人把话说得挺直:AI 代理是自主的团队成员没错,但它们是“短暂性”的。你雇个人类工程师,哪怕他交完代码就离职,你还能找他前同事问一句“他当时到底怎么想的”。代理不是离职——它是连死后的记忆都一块儿蒸发了。这中间差的是什么?差一个能当证据用的过程记录。这论文就是在说这事。

说句扫兴的,行业对这件事的反应还停留在“记录一下 token 消耗和工具调用就行”。你去看那些所谓的 agent observability 工具,本质全是把 API 日志抓回来给你画个时序图,看着热闹,账本上不记这个。真出了安全事件——意图不匹配、注入攻击,这些去年还属于实验室里的恶意演示,今年已经变成日常运维里真实存在的风险——你拿着这些时序图去追责,连“这个决定是谁做的”都答不上来。我说的“谁”不是指人名,是“人做的还是代理做的”。这个边界一旦糊掉,审计就是句空话。

论文里有个点挺戳人:现有的治理框架、审计轨迹、合规控制,全都建立在一个默认前提上——决策由人类做出。这个前提在代理参与开发的场景下已经塌了。你以为这只是安全部门操心的事?不是。账算在这儿:一家公司靠 agent 把研发成本砍掉四成,但审计层面没法证明某次变更的完整决策链,它面对的就不是“效率提升”和“合规成本”二选一的问题,而是交易对手做审慎评估时直接不跟你玩。金融、医疗那些受监管行业尤其如此——审计留痕不是加分项,是入场券。入场券丢了,省下的研发费一分都花不出去。

但这论文有意思的地方不在它把问题讲明白了——问题圈里人心里多少都有数——在于它摆了个具体机制出来:Agentic Process Evidence,APE。定位很明确:带签名、防篡改、机器可读的代理过程证明,把一次代理会话和它产出的结果绑一起,做成 process-aware logging。技术路线不新,它基于 in-toto 那套证明框架,in-toto 在供应链安全领域已经铺了好几年地基。但把“每个步骤可验证、可回溯”这套思路从软件构建流水线搬到 AI 代理的行为追踪上,这个迁移是有价值的。不是模型层什么翻天覆地的突破——那事不归它管——是治理想通了:把 AI 代理当内部威胁来管,问题就不再是“看门狗监控”,而是“证据链完整性”。

账继续往下算。git log 记的是 what,APE 想记的是 how 和 who。一个 PR 到底是人写的还是代理写的,代理写的时候调的哪个模型、用了哪些工具、每一笔工具调用发生在哪一步之后——这些东西如果能在 commit 之外形成一条独立、可验证的证据链,追责才有落点。没有这个落点,所有“我接了 MCP 工具但它出错了”的售后故事都没法对账。代理供应商说不是我的锅,模型供应商说不是我的锅,集成方也说不是我的锅。最后是谁的锅?谁的都不是,账单你付。

插一句不相干的,我上回琢磨类似问题时还觉得“会话重现”能凑合当证据用,后来发现漏算了一项:会话重现在工程上根本走不通——token 成本会涨,上下文撑不住,而且重放一次的结果可能跟你第一次跑出来完全不一样。这一点至今没人给过我满意的解释。回正题。

APE 这方案现在看最大的短板是论文自己承认的——没考虑规模问题。单次会话的证据链好搞,一家中型公司一天跑几千个代理会话,每个会话带签名、防篡改、可验证,基础设施的体量直接爆炸。Policy-as-Code 管代理过程听着挺美,落到工程上是另一笔账:策略引擎每多一层判定,代理执行就多一步延迟;管得越细,代理越像个等审批的人类员工——你花大价钱让它自动化,又在每一步前面加了道人工门。省下的开发成本,会不会原封不动变成治理成本?这个我目前不敢下死话,但这是我看完这篇论文最想问的一句话。

还有个细节挺妙。这论文挂在 cs.AI 下面,交叉 cs.SE 和 eess.SY。eess.SY——系统与控制。这交叉挂靠不是随便挂的,它把作者的真实意图漏出来了:他们谈的不是单纯软件工程问题,是反馈控制系统问题。代理是个会看环境、会自己改自己行为的系统,你要还把它理解成“工具”,那永远治理不了。工具不会因为上次成功就变得激进,但代理会——因为它“学到”了。而它“学到”的东西如果会话一结束就蒸发掉,你根本不知道自己什么时候开始管不住它。

这笔账我先算一半。谁在赚?现在做 agent 可观测性、做 MCP 网关、做 AI 安全审计的那批人,实打实吃的是“合规焦虑”红利。窗口期大概还有两三年,等 APE 这类机制被标准化组织或哪个大厂的开源方案收编,先发者的技术优势会迅速抹平,剩下就是比谁能在具体监管场景里扎得深。谁在亏?以为自己雇了人类工程师、其实招来一堆不记工资却把“证据缺口”塞进审计日志的代理的工程团队。这份亏是隐性的——财务账上省了钱,法务账上多了窟窿。什么时候爆?等第一次因为“代理做的决定”导致事故、公司没法向监管方出示完整决策过程的时候。到那时倒下的不会是一家两家。

那怎么办?我现在能给的建设性路径不宽,但不宽不等于没用。第一,不管你用不用 APE,先把代理会话日志从“调试用途”升级为“证据用途”——会话 ID、模型版本、工具调用序列、最终产物 hash,做成一条防篡改记录。这成本不高,动作要快,法律真空期就这几年,等监管追责标准定下来,没留痕的最先挨刀。第二,把“代理是否具备持久证据链”当成采购标准。你不是在选一个代理平台,你是在选一个未来能在法庭上不输的公司内部证人。便宜的那家没有签名机制,出了事就是裸奔。第三,人工介入的重心放对地方。现在大部分团队的人工审查还在看 diff,这是错的——该看的是代理在关键节点上的上下文快照和工具调用理由。diff 是给人写的账本,你要看的是代理当时为什么那么选。

这笔账的最后一行:AI 代理替人做的决定越多,越值钱的不是“算得对”,而是“算得对的东西能留下来当证据”。留得下来的,审计认,合作方也认。留不下来的,等于白干,出了事没一个人认账。这事我要盯下去,但今天先把话放这——谁先把自己的代理过程做成可追责的,谁就在下一轮里占住先手。剩下的,等被监管按着头补留痕的时候,你就知道这笔账早算比晚算便宜多少了。

算账先生
算账先生

用算账视角看 AI 工具这门生意——红利、认知差、护城河,泼完冷水给一条窄路。

查看主页 →