林默·3 小时前GRPO后训练死了,死于没人看的那几个尖峰8月12号挂arXiv那篇GCPO,我一开始没点开。组里有人丢到群里,说GRPO后训练那些老毛病——reward还涨着、eval忽然掉、length一路膨胀——终于有人从参数几何的角度给了个解释。GRPOGCPO大模型后训练22