GRPO后训练死了,死于没人看的那几个尖峰
8月12号挂arXiv那篇GCPO,我一开始没点开。组里有人丢到群里,说GRPO后训练那些老毛病——reward还涨着、eval忽然掉、length一路膨胀——终于有人从参数几何的角度给了个解释。
8月12号挂arXiv那篇GCPO,我一开始没点开。组里有人丢到群里,说GRPO后训练那些老毛病——reward还涨着、eval忽然掉、length一路膨胀——终于有人从参数几何的角度给了个解释。
先把这个结论撂这:ngxsignalquery 是这半年 Angular 生态里我看过的、代码写得最干净的一块补丁——但补丁做到头,也只是补丁。真正的问题不在它补了什么,在它为谁在补、又要补到哪一天为止。官方不给的,个人来给;个人给的,官方将来收不收?这笔账,得拆开算。
多智能体框架到底选哪个? 这个问题隔一阵就有人问一遍。框架也确实多,每个都说自己最顺手。答案更多,基本都是拍脑袋。这周终于有人不拍脑袋了。 八月十二号,arXiv 上挂了一篇论文。一个六人团队,把几个开源多智能体框架拉出来,认真比了一遍。 这期小抄只收这一条。不是这周没别的动静。是这一条把别的都衬成了背景音。

这条讲的是编码智能体内部,语言模型在残差流里线性编码了程序状态的几个属性:能不能 parse、过不过测试、有没有减少失败测试、有没有引入回归。

先贴命令。 一行,从陌生人的仓库往你的 agent 身上装一个“技能”。GitHub 文档自己把丑话说在前面了:技能未经验证,可能带提示注入、隐藏指令、恶意脚本,装之前建议 gh skill preview 先看一眼。 看到一篇 dev.to 上的文章,专门讲这个威胁模型。

上个月 dev.to 上有篇文章,作者用 Node.js 和 Electron,不沾任何外部 HTML/CSS/布局库,从头写了个能渲染 info.cern.ch 的浏览器。三个月,渲染结果和 Chrome 并排对比难分彼此。这故事本身挺好看,但真正值得看的不是“他做到了”,是他为了做到,亲手踩进去的两个坑。

这周换了个新的 AI 编码工具用。先交代下背景:我们组前两个月统一换过一次(就是之前那个,名字就不提了,免得有人说我阴阳),当时感觉写得还行,但小问题不少,修的时间比写的还多。这次是组里有人安利,说新出的那个模型在生成代码方面提升特别大,逻辑不太容易错。
速评:AMARG,地球上最大的飞机坟场,名字全称是"第309航空航天维修与再生大队"。殡葬部门管自己叫"再生",这不是语言粉饰,是运营定义——停在里面每架飞机都在排队等待重新处置,不是等着被悼念。这名字搁AI圈,简直是照着缺什么补什么起的。

过去两年我反复写过一个判断:模型层会持续向下游整合,控制供给的一方向需求侧扩张,这是结构决定的,换谁坐那个位置都一样。这个判断至今没被推翻,但它容易让人产生一种错觉,仿佛模型层的阴影底下,所有非AI的软件品类都该按某种顺序被吸收掉。

会议日程表上这一行,看起来人畜无害: 主讲人:Kent C. Dodds。隔壁那间屋子在讲 reward hacking,Daniel Han 的场子。 两个标题放一起,氛围就有点微妙了:一屋子人在学怎么把更多决策交给模型,另一屋子人在研究模型怎么绕过你给的目标去达成自己的路径。

速评:那个用pass@k给AI编码智能体刷分刷了快两年的玩法,终于被人写成论文扒了个底朝天。 论文是8月11日挂到arXiv上的,到今天19天,讨论度我体感不算热。

今天早上刷到 ClaudeDevs 在 X 上的公告:9 月 14 日起,Claude Code 的周用量额度永久上调 25%,Pro、Max、Team 和按席位计费的企业版全部覆盖。第一眼看着是好事,到我看的时候那条帖子已经两百多万阅读了。但我把数字拆开算了一遍,结论是:对我接下来几周的排期来说,这不是涨,是降。

第 68 天。今天不说进度,说个事。 上个月不是给老大幼儿园做了个接送排班表嘛,扫码看那种。当时发朋友圈,有个以前设计组的同事私信我,问我是找人做的还是模板套的。 我说自己写的。 她发了一串省略号。然后说,你哪来的时间,俩孩子。 我说,娃睡了就是我的时间。四十分钟也是四十分钟。 她没再回。我以为这事就过去了。
周三,不对,周四凌晨,白班的兄弟移交了一个监控脚本过来,说这台机器上自己写的那个磁盘巡检脚本跑了半年,最近老是误报,让我有空看看。我当时也想起来,确实是,这周我已经收到三次它发的告警,每次都跑过去看,盘好好的,连inode都没满。
上个月,周一早上站会前,我照例扫一眼上周的变更记录。生产分支上挂着三个 PR,作者是个我不认识的账号,邮箱后缀是厂商的域名。 问了一圈才知道,这是对方派来的 FDE,合同里写好的,要嵌进我们的 repo,ship 生产代码。法务签了字,老板点了头,流程上没毛病。
论文里有两个数字我盯着看了很久。BigCodeBench Hard 上,相对 CodeRL,解决任务数从 16 提到 23——漂亮,43.8%。然后眼神往下扫到同一张表的下半部分,BigCodeBench Full:359 到 363。你没看错,四个任务,1.1%。
先说结论:把心理学话术塞进 prompt 的那套玄学,这次被照妖镜了。结论不难看——催模型快点写代码,正确性和安全性一起掉分。 论文 8 月中旬挂上 arXiv,编号 2608.11513,37 页,已经被 Empirical Software Engineering 接收。测的东西很直白。

半夜三点四十。公司群里静悄悄的,就我一人对着这个祖传跑批系统的日志发呆。客户是某个银行,周一一早要报表,周五晚上我把新需求提上去,周六下午开始报错,到现在——凌晨三点多——还没跑通。 具体错在哪儿?
说句实话我自己都不太信,今天这个锅是我自己亲手甩到自己脸上的。 事情是这样的——之前写了个小脚本,每天读RSS然后转推一些技术文章,跑了小半年一直没事。后来嫌它太傻,就把调度方式整个换了。当时觉得逻辑很简单嘛,读出来推送,推完记录一下ID,防止重复转发。用的Redis做去重,key带个文章ID。
昨晚周五,本来在改一个 CI 脚本,摸鱼的间隙刷到 OpenAI 的声明:终止和 Cursor 的合作,而且在合同允许的最晚日期之前,不会再提供任何未来的新模型。今天早上几个群已经在吵“影响大不大”,吵到后面基本变成站队了。
