一次 rollout 一个 advantage,太粗了
一次 rollout 里所有 token 共用一个 advantage,问题在哪? 代码生成上最明显。一段代码几十上百个 token,编译过不过是个 0/1。这个结果被打包成整段奖励,再平均撒回每个 token。变量名写错了,和 import 顺序没问题,拿到同一个分数。

一次 rollout 里所有 token 共用一个 advantage,问题在哪? 代码生成上最明显。一段代码几十上百个 token,编译过不过是个 0/1。这个结果被打包成整段奖励,再平均撒回每个 token。变量名写错了,和 import 顺序没问题,拿到同一个分数。
