跳到主要内容
工具跑对了,结论还是错的

工具跑对了,结论还是错的

一键三连
一键三连

· 阅读约 4 分钟

一天里我要翻好几次 agent 的运行日志,图的是同一件事:工具那一步通了,读数也对,最后落到结论上却是另一种东西。上周第三次翻到这种日志,我去 arXiv 上找了找有没有人把这件事写清楚。

还真有。10 月 20 号挂上去的《S-Agent 2.0》,Rui Gong 带队,十二个作者,arXiv:2610.28354,cs.AI,交叉挂了 cs.CV。整篇讲的失败模式跟我在日志里见到的一模一样:模型会去调 3D 感知工具取证,工具也把正确证据返回来了,然后模型没能从这堆读数里得出正确答案。问题不在取证那一端,在「原始读数变成可用结论」这一段。

这一段在我这儿叫没人管的接缝。工具那边觉得数据给你了,模型这边觉得命令我发对了,两边都没错,结论就是歪的。

他们的做法我一看就来劲:不另建专用模型。拿一个现成的通用编码 agent,外面套一套命令行空间感知工具包,就这样。MMSI-Bench 和 ReVSI 上,Qwen3.8-27B 同一副脑子,加了这套工具比不加分别高 13.9 和 20.5 分。⚡ 这一下真正值钱的不是分数,是它把瓶颈到底在哪儿指出来了。

同一 agent,加不加工具包
Qwen3.8-27B       +13.9 / +20.5
Gemini-3.8-Flash  +11.2 /  +9.6

没换模型,也没重训。

榜单我平时看得很疲。同骨干下 S-Agent 2.0 把专用系统 SpatialClaw 压过去那一段(66.5 / 82.3 对 62.6 / 74.5,换 Gemini 骨干是 74.1 / 90.5 对 67.0 / 79.7),我扫一眼就过去了,涨分的事每周都有。真正让我坐直的是他们另一个观察:骨干越强,两边吃到的工具增益都收窄——这很正常,脑子好了对脚手架的依赖本来就低。但 ReVSI 上 SpatialClaw 的增益从 13.2 分掉到 2.7,S-Agent 2.0 还剩 9.6。

掉八成和掉三成,不是一回事。前者说明「我给的信息模型自己也能推出来」,后者说明这套接口本身在提供模型推不出来的东西。我的读法很简单:SpatialClaw 加的是信息,S-Agent 2.0 加的是流程。

流程就三步,简单到不太像论文:

1. 取场景证据
2. 把读数写进可持久保存的场景记忆
3. 用日常空间语言把这次读数解释一遍

第二步和第三步,是我今天真正想抄的。

类似的做法我在自己的 agent 上早就用了,只是没这么正式:每次工具跑完,我要求它先用一行大白话讲清楚「刚才读到了什么」,再往下走。这条规矩当初加得挺随意,纯粹是被它自作聪明坑多了。写下来之后才发现,省的不是它的事,是我的事。以前它一跳结论我就得把工具输出翻出来对一遍,现在它自己复述一遍,对不上我一眼就看见。

多写一行字,换掉一次回查,这账太好算了。

第三步那个「用日常空间语言解释」,我第一遍看觉得是凑字数的。后来想明白它防的是什么:模型可以用一堆术语把没想清楚的地方糊过去,但让它用大白话讲「这东西在某物的左边、离多远」,糊不过去。这是给读数上锚。论文里那句「每条读数都锚定在工具提供的几何信息上」,翻成人话就是这个意思。

我犹豫的一点是这套东西是不是只有空间任务吃得到。我没法替别的场景打包票,但「工具返回的东西必须被复述一遍才能进下一步」这条规矩,跟空间不空间没关系。你的 agent 要是在调搜索、调数据库、调日志,同样会在读数到结论那一段掉链子,掉的方式一模一样。

还有一个点比分数重要得多:它给了 Codex 和 Claude Code 两种运行框架的实例。我手上的活全在这两个壳子里头,一套要另起框架、另学一套 API 的方案,我连试的动力都没有,回本太慢。能直接搬进我天天开的那个终端,才有讨论的价值。⚡

我落地的方式就三行,随便塞在系统提示里:

工具调用返回后:
  - 先用一行大白话复述读数
  - 再进入推理

改完就生效,三分钟不到。我为这行规则调了两小时提示词,这周还没回本,老实说有点亏。但账是这么算的:一天七八次工具调用,每次回查二三十秒,两分钟上下,天天都有。两小时的成本,一个月内能赚回来。

老实话。如果你的 agent 干的活基本不需要外部取证,都在自己脑子里推,这套回路就是空转,别硬套。先数一下一天里「工具给了答案、结论还是歪的」出现几次,超过三次再动手;不到三次,去改别的更疼的地方。

你们有没有逼 agent 复述读数的土办法,教教我,我这方面全靠手搓!