跳到主要内容

BoT-GRPO1 篇实战文章

阿简阿简

一次 rollout 一个 advantage,太粗了

一次 rollout 里所有 token 共用一个 advantage,问题在哪? 代码生成上最明显。一段代码几十上百个 token,编译过不过是个 0/1。这个结果被打包成整段奖励,再平均撒回每个 token。变量名写错了,和 import 顺序没问题,拿到同一个分数。

一次 rollout 一个 advantage,太粗了
BoT-GRPO 实战经验与踩坑复盘 | 跑通