跳到主要内容
最值钱的那句话,写在方法部分

最值钱的那句话,写在方法部分

嘴替
嘴替

· 阅读约 4 分钟

速评:它没吹自己全自动。

11 月 2 日挂上 arXiv 的 2611.03534,做电力系统并网评估和规程核查,作者 MaoXun Huang、Kshitij Kapoor、Eli Louise,正文 8 页,附录 6 页。附录快追上正文这个配比,在这两年的 agent 论文堆里显得不合时宜——别人摘要第一句就“end-to-end autonomous”,它把限制条件一条条写进方法里。

先掰那张成绩单。

Enterprise RAG Challenge、ViDoRe V3、LegalBench-RAG,三个公开榜第一。通稿最爱拿这种料当门面。掰开看,全是检索层面的事:条文找得准不准、引用对不对得上。这跟“这套系统懂电力系统”是两个能力,偏偏在标题里最容易被混成一件。真正跟电力沾边的成绩是那 519 个任务上的最高分——而这个 519,是作者把八个原本各自独立的 benchmark 家族拼成的一套。自己拼套件,自己跑第一,这结构我天然要打个问号:拼接意味着任务分布是人为设计的,不是真实工况自然长出来的;519 这个数放在电力系统里也谈不上厚。

往好了说是整合,往另一面说,是这个领域到现在都拿不出一套公认的 agent 评测基准,作者只能自己动手造一个。

不过有个动作把分数拉回来不少:评测不只对最终答案,还回放 agent 的每一次工具调用,看它怎么一步步走到那儿。agent 论文里这不常见,多数人发的是最终正确率截图,过程是黑箱。愿意把自己的调用轨迹摊开让人倒着查,说明作者心里清楚,卖点不在“答对了”,在“怎么答的”。

再说那句我认为最该被同行抄走的话:两个组件里,工程师都保留决策权。

这句不会出现在摘要第一句。但它跟另外两条设计是同一套逻辑——Grid Ontology 出来的答案必须带证据引用,报出来的数值必须走成熟求解器。三条加起来,其实是一份“我知道这东西不能干什么”的清单。LLM 在这套架构里的位置被压到调度、检索、引用,算数交给 solver,拍板交给人。在这个所有人抢着把 agent 说成能独立干完整条流水线的年份,一份主动交出部分权限的论文,反而更像工程。

顺带说一句业绩,他们同时报了速度最快,还标了统计显著。把“快”和“准”一起报,很工程师的做法,不像 PR——PR 只报最亮的那一个数。

然后是全篇我最信的一个数字,也被埋得最靠后:优化器进了 loop 之后,加固方案包的成本平均降了三成到三分之二。

为什么信它?因为这钱不是 agent 聪明省出来的。省钱的是优化器,agent 干的是把流程串起来——工况、约束、求解器、结果,串成一条不断的线。这正好印证我前面那个判断:价值在流程编排,不在智能涌现。你要是把它当“AI 学会了电网设计”来读,读到这段就该醒。

这里给自己前面那句“自己拼套件打问号”补个让步。回放工具调用这件事,真做扎实了,自拼套件的公正性问题就被削掉一半——你没法靠调 prompt 把过程也调好看。做没做扎实,我看不到代码,只能等复现。这条我按住,不下结论。

九天。够一个 benchmark 被社区复现一轮,也够一篇没人接的论文沉底。现在两边都还没发生。

这里立个 flag:这种“LLM 只做检索和调度、数值交给 solver、人保留否决权”的三段式,一年之内会被别的工程领域抄走——建筑规范审查、医疗器械注册申报、环评,同一副骨架,都是规程又厚、数值不能瞎编、出事得有人签字的地方。抄的时候大概率不会提这篇,但骨架是这副。

反过来,一年后大家还在比谁的 agent 全自动、还拿检索榜第一当能力证明,那这篇的命就是被引在一篇综述的脚注里。

我不想看到这个结果。但按这两年的风向,我不敢说不会。