跳到主要内容
RoleFlow 这 4.7 分,撑不起标题里那四个字

RoleFlow 这 4.7 分,撑不起标题里那四个字

毒角兽
毒角兽

· 阅读约 5 分钟

先说结论:arXiv:2610.30429,标题里「Self-Evolving」这四个字,水分最大。真东西在 SECPO 那节,跟“进化”没有半点关系。

官方那句是「self-evolving multi-role agentic collaboration via structural adaptation」。

翻成人话——一条跑起来的 agent 链,一次改一个原子动作。加角色、删角色、改两笔职责、按需现生成一个新角色,改完看结果,好用就留,不好用退回去。

这叫结构搜索!

离散编辑动作组成动作空间,策略是学出来的。这块不丢人,反而是全篇最实的工程部分。但「进化」这词,至少得配个种群、配个变异压力、配个跨代累积吧?它这儿给的是:一条链加一次反事实对照。把“我们做了个搜索”包装成“系统自己长大了”,这届文案的胆子是真大。

4.7 分这个数,别急着抄进 PPT。

官方说:「七个基准取得最优平均成绩,比最强对比方法高出 4.7 分」。

三个多跳问答基准的 F1 优势是 3.2 到 7.5,这个我认。剩下的数学推理、网页交互、代码生成,加一个没点名的,四个基准没单独报数。

自己倒推:

七个基准 × 4.7           ≈ 总分差 32.9
三个多跳问答,按中位 5.3 估 ≈ 16.0
剩下四个基准平摊           ≈ 4.2 / 个

真正拉开差距的是问答,其余领域大概只有问答的一半出头。这是我拿平均数反推的,他们把七个数字摊开我更乐意被打脸。

摊开之前,4.7 就只能当 4.7 看。

(有个前提我没法验:四个领域的平均是怎么加的。)

更要命的是“平均”这两个字本身。

多跳问答报 F1,代码生成大概率 pass@1,网页交互多半任务成功率,数学推理是准确率。四个量纲不同的数,加一块除以七,出来一个 4.7。

这 4.7 的可解释性接近于零。它只能证明 RoleFlow 在自己的流水线上总分更高,证明不了它在你那个脏项目里更强。跨基准平均分我向来只当索引看,不当结论用——拿它去写采购申请,那是自己给自己挖坑。

不过 SECPO 那段,我得把前面的话收一收。

轨迹级奖励的毛病同行都懂:一条链跑完,对没对,一个标量分发给整条轨迹里每一个决策。结构改了五处,哪一处真挣到了分?分不出来。分不出来就只能整条链一起奖惩,信用稀释到最后约等于没分。

SECPO 干的事:每次编辑,都在同一链条状态下留一个“不编辑”的对照版本,两版一比,信用只落到跟这次编辑相关的那些 token 上。

单编辑、反事实、精确到 token。三件事拼起来才是它。

难点在“同一链条状态”这个前提。多角色协作的中间状态本来就不稳,采样温度飘一下对照就不成了。🔍 这一层要是真摁住了,这东西比那 4.7 值钱得多——值得单独拎出来读,哪怕你对多智能体这摊事已经烦了。

说句公道话:这次是往好的方向打脸。我预期拉满进来准备骂“又一个换名字的 reward shaping”,结果人家真把信用分配做成了可验证的对照实验。这个我没得骂。

我最不满的一点:全篇没提账单。

按需生成角色意味着角色数不固定,角色数不固定意味着 context 长度不固定。结构越“自演化”,单任务 token 消耗越难看。

分数涨 4.7,账单涨多少?

摘要和主结果那几页我是没找到这个数。一条链多塞两个角色,多两轮工具调用,网页交互那种任务上的延迟基本是翻着上去。这些不报,等于马力测试不看油耗——跑分好看的车你也不敢直接上高速!

第二个想看的数:把 SECPO 换回普通轨迹级奖励,4.7 掉到几分?

这个消融不做,整篇就悬着。没法排除一种更省事的解释——4.7 里有一部分只是“多了几个角色”这件朴素的事带来的,跟反事实信用分配关系不大。这条我暂时只能存疑,等代码或者 v2 摆出来再说,先别信我这半句。

跨执行器泛化,我信一半。

结构如果学到的是“这类任务先查、再校验、最后汇总”这种跟模型无关的套路,能迁移,这条是真本事。如果学到的是某家 executor 长 context 下会自己截断这类调用怪癖,那所谓泛化就是给过拟合换了个好听说法。

论文里报了几个数。但这类结论只能靠第三方复现验,自己报的说服力有限。

锐评评分卡:

  • SECPO:真东西。值得读,值得复现,别被标题挡在门外。
  • 「Self-Evolving」:超纲。结构搜索不叫进化,扣分。
  • 4.7 分平均成绩:跨量纲平均,可解释性低,别当结论抄。
  • 成本与消融:缺。缺这两个数,这篇只能算半篇。
  • 现在跟不跟:不跟。等它把 token 账和消融补上——补上了这是一篇很难被推翻的工作,补不上就是个图很好看的预印本。

v1 的时间戳是 10 月 21 日 20:37:32,周三晚上八点半,二十来页。这个点还在挂预印本的人,我一般不急着骂。

我要骂的从来只是标题里那四个字。

毒角兽
毒角兽

拿到新工具先上手拆一遍,官方通稿信一半留一半,实测说话。

查看主页 →