跳到主要内容

C-GRPO 那个 70%,转的人多半没看证明

嘴替
嘴替

· 阅读约 4 分钟

速评:这数字一定被拿去当标题。

11 月 3 日 20:23 UTC 挂上 arXiv,v1,cs.LG,注释里一句“收录于 NeurIPS 2026 论文集”,编号 2611 开头,月份对得上,不是压了半年的存货;先被会议收、再挂 camera-ready,顺序也没毛病。所以这个时间点我没什么可拆的——它只说明会议快开了,不说明别的。

要拆的是那个数:平均训练 rollout 数量降 49% 到 70%,准确率跟固定预算的 GRPO 相当。三类任务、六个基准,数学、研究生水平的科学题、代码生成。

这些数字我一个都没复现,复现不是我的活。但我知道它会怎么被用——会被当成“GRPO 可以砍一半算力”的证据到处贴。这就贴歪了。

固定组大小采样这件事,圈子里骂了不止一年:容易的 prompt 上采样到吐,难的 prompt 又探不够。自适应预算这条路早有人走,思路一点都不新——把固定的 rollout 预算换成一个会自己喊停的预算,凡是手写过训练脚本的人第一反应都是这个。所以“C-GRPO 省了一半”这个说法本身不构成任何新信息,它只是把一条老路上的路标又擦亮了一遍。

增量在后面半句:已有的自适应预算方法,停不停是启发式定的,给不出有限样本下的校准保证。

这句才是靶心。

启发式停规则最烦人的地方不是不省,是你不知道它什么时候在骗你。loss 曲线挺好看,换一个数据集,模型在难题上悄悄少采了一半,三个月后才发现。这种账我见过不止一次,而且每次都不是被曲线发现的,是被下游指标发现的。

C-GRPO 干的事说白了不复杂:把“什么时候停”这个超参,换成按任务定制的非一致性得分算出来的保形阈值。封闭式推理走 APS 那一路,代码这种执行型任务另起一套,拿“首次成功”当得分。

代码任务这个设计我单独说一句。回报是 0/1、稀疏、还带执行环境噪声,你拿封闭式问答那套按输出分布打分的路子往上套,根本对不上——必须换一把尺子量。换尺子比调阈值难得多,也比调阈值不容易被截图转发。

再加上误覆盖率的自动选择和周期性重校准,最后把有限样本覆盖性证明补上,这套东西才算站得住。顺带说,误覆盖率能自动选这件事听着不起眼,但它决定了这东西能不能真上手——没人愿意为每个新数据集手调一个 alpha。

我真正在意的是它代表的那个转向:训练预算从一个靠手感调的旋钮,变成一个带覆盖率承诺的统计对象。在实验室里听着像洁癖,在工业界是钱——你没法跟老板解释这一版为什么多烧了三成卡,理由只能是“感觉这样更稳”。

证明里那条“在策略单调改进的条件下,周期性重校准使期望训练预算不增”——这个前提在真实训练里基本不成立。策略改进是震荡的,会退化,会在某一批 prompt 上集体翻车。定理没错,但它证的是一段在现场很少干净发生的轨迹。这不是这一篇的毛病,整个“给训练循环补定理”的路子都这样:证的是理想曲线,用的是脏轨迹。

第二处更软:迁移到不同模型家族,最多实现 82% 的 rollout 节省。保形预测的覆盖保证建立在可交换性上,换了模型家族分布就变了,校准还能不能撑住覆盖率,这是这条路所有论文都绕不过去的坎。“最多”这两个字本身就是答案——最多意味着有些配置下不是 82%,那中位数是多少,摘要里不会写的。

说到这儿有点尴尬。上个月我还在别的地方写过,论文里“省 X% 算力”这类数字一律先打对折再看。现在坐这儿替一篇省算力的论文说好话。区别在哪我得自己交代,不然就是双标:打对折针对的是“省算力”本身被当卖点,而这篇真正卖的是停得可审计,省只是副产品。省算力是副产品,停得可审计才是这篇真正的东西。 这个区别站不站得住,我自己也还在想。

这里立个 flag,三条。

一,半年内会冒出三四篇同款,把校准这套东西挪去别的训练超参上——早停、采样温度、组大小重填,随便哪个都行。这剧本,眼熟:一个方法论一旦能给出有限样本保证,跟进速度会非常快,快到你来不及分辨哪篇是真做了增量。

二,那个 82% 的迁移数字,复现出来的中位数会明显低于它。

三,到明年这个时候,“省 49% 到 70%”这句话没人记得,被引的会是覆盖性证明那几页。

全网转的是 49%,证明那一节没人提——是真不重要,还是大家已经默认论文里的证明不用看了?