跳到主要内容
这篇 agent 恢复论文,值钱的部分不是它省下的 4 个费用单位

这篇 agent 恢复论文,值钱的部分不是它省下的 4 个费用单位

算账先生
算账先生

· 阅读约 6 分钟

先把这个结论撂这:这篇论文真正值得抄的,不是那个证据引导恢复框架多聪明,也不是规划建议比证据提示多认证了 36.2 个百分点——是它那 116 条轨迹全部独立重放验证的这条审计线。大部分做 agent 的人现在还没醒过来,超时和部分执行留下的不确定性,最后一定会变成合规成本,由你买单。今天这套方案不贵,你以为自己在做工程,其实是在给自己留后路。说句扫兴的,等法律真空期一过,没留痕的人最先挨刀。

工具调用超时这事儿,谁碰上谁知道。模型发出去一个扣款请求,没等到响应就超时了。它到底成没成?可能已经失败,可能已经提交,可能还在跑,而你工作流里后面的步骤已经刷完两个了。这时候 agent 停下来等,还是继续走?继续走,万一重复扣款算谁的?停下来,你整个自动化流程就为这一个灰状态全趴窝。这不是模型能力问题,这是账本问题——不确定性的成本,谁来扛。很多人以为这是模型该解决的问题,我这么讲:模型给不了你答案,它只会再吐一个置信度,最后还是你兜底。

这篇 arXiv 论文 10 月 30 号才挂上去,编号 2610.41453,cs.AI 分类。作者那四位名字我不念了。他们提的那套恢复框架,核心就一件事:把“不知道”变成“可验证地不知道”。它不去猜那个工具调用到底成没成,而是去查已批准的义务、看那个服务提供商公开承诺的能力边界,再从公开证据里反推哪些状态是相容的。听着像供应链审计,不像 agent 工程——因为它就是。这话我半年前就说过,agent 再往下走,可靠性靠的不是模型更聪明,是审计足够扎实。当时没多少人听进去。

框架里有两样东西值得拆。一个是共享的可接受性检查,处理密钥过期、授权时序、依赖关系和残余影响。另一个是终止证书,用来分辨两笔账:目标到底真达成了,还是只是在公开证据支撑下安全地“算完成”了。这个差别多数人分不清。你的 agent 把任务标记成 done,和它在证据链上能证明没出岔子地 done,是两码事。前者是界面上的状态,后者是账本上的状态。大部分 agent 框架只有前者——插一句,这也是市面上多数 agent 演示看着漂亮、上生产就翻车的原因之一。

数字我给你们算一笔账。那项“已知模型实现”的有限研究,37 个分配,规划方法和三个主动对照各自认证了 28 次完成。谁也没比谁多完成一次,唯一区别是规划方法省了 4 个合成费用单位,代价是额外计算。4 个合成费用单位。你搞一堆证据追踪、可接受性检查、终止证书,最后省下的钱连一顿饭都不够。这笔账我一开始看心想这叫什么收益,后来才琢磨过来——他们这篇论文本来就不是靠省钱来证明价值的,那 4 个费用单位就是个姿态,真正要让你看的是后面那个对比。

后面那个预注册的按分配留出比较,用两个本地模型组合,跑 19 个任务家族里的 58 个配对单元。规划建议认证 30 次完成,证据提示只认证 9 次,差 36.2 个百分点,p 值 0.0078。这数字一出,肯定有人急着说证据提示是垃圾。慢着,你看 proposal 数:规划建议花了 272 个提案拿下 30 次,证据提示烧了 399 个提案才认证 9 次。这说明什么?说明证据提示根本不是在“恢复”,它是在用蛮力枚举可能性,拿提案数量去撞。真实业务里这玩意儿跑不通,token 不要钱吗?延迟不要钱吗?

但这不等于说规划方法就赢了。58 个配对单元,两个本地模型,一个小规模预注册实验,这也就是个早期信号,连“跑通”都谈不上,更别谈规模化。论文自己把话说得明白:保证只限定在已声明的提供方能力范围内,不跑出来说任意第三方都能做到恰好一次执行。未知结果和移交结果都是显式状态,不藏。这个诚实劲儿我喜欢——不像市面上那些 agent 创业公司,把“也许能恢复”讲成“可靠执行已解决”。

那这一轮谁在赚谁在亏?赚的是那些现在就把 agent 执行过程留痕、把不确定性显式化的人。他们没等工具厂商出完美方案,也没等大模型自己长出手脚去处理半执行状态——那笔账算不过来,太远,太虚。他们干的事看着最没技术含量,其实护城河最宽:把审计痕迹建起来,让自己在将来追责里站得住。亏的是还在吹“我们的 agent 百分百可靠”的人。这句话每说一次,就是给自己挂一根绞索。一百条轨迹里有一条因为超时双花了,你拿什么证明你当时不知道?没有证据链,你说不知道,在合同和合规面前等于没说过。

所以建设性路径不是照着它的恢复框架抄。那套共享可接受性检查和终止证书,工程成本不低,眼下收益也就 4 个合成费用单位,你得看自己有没有那个闲工夫。真正便宜、真正该抄的,是那 116 条轨迹全部过独立重放验证这个做法。别问你的 agent 现在对不对,问它能不能在一个独立重放里自证它当时是怎么做的。这事今天花不了几个钱,却能把将来最贵的那笔合规账单提前消掉一大半。我自己已经打算在经手的项目里把这套审计线先搭起来——先从小工具跑起来,不追求全覆盖,至少有迹可查。

插一句不相干的,回正题。你们也别把这篇论文当什么范式突破。它没投顶会,也没宣称自己解决了模糊工具结果的全部问题。它就是个 24 页、1 张图、10 张表的扎实小工作,把恢复这件事从“模型应该更聪明”的幻觉里拉回来,拉到证据和声明的层面。这恰恰是现在 agent 领域最缺的一类工作——不是又一个“我们造了个超强 agent”的故事,而是“这摊不确定性到底怎么处理,我给你拆开看账本”。

账最后怎么算?规划建议省 4 个合成费用单位,你雇个工程师搞这套验证链的成本都不止。但把时间拉长到三年,看另一头——合规追责、审计要求、大客户合同里的证明条款——那 4 个费用单位和“独立重放验证”摆在一起,根本不是一个量级。前一个是零钱,后一个是保命符。这笔账,你自己算。咱下篇见。

算账先生
算账先生

用算账视角看 AI 工具这门生意——红利、认知差、护城河,泼完冷水给一条窄路。

查看主页 →