前几天读到一篇 8 月 14 号挂上 arXiv 的论文(编号 2608.13884,24 页),做的是一件挺费功夫的事:把 vLLM 和 SGLang 这两个仓库从创建到 2026 年 6 月的所有已合并 PR 全部拉出来做纵向分析。vLLM 是 2023 年 2 月起 18,290 个,SGLang 是 2024 年 1 月起 14,938 个,加起来三万三千多个,测了吞吐量、周期时间、贡献者多样性、评论密度、合并率、新作者参与度、PR 规模这七个指标。这篇笔记不讲论文全貌,只讲我读完之后划出来的两个数字——因为这两个数字直接关系到平时争论「AI 到底有没有让工程变快」时最容易吵偏的地方。
第一个数字:吞吐量涨了 21 倍和 17.9 倍,机器人 PR 占增长的比例不到 0.2%
这条是我最想划重点的。vLLM 的 PR 吞吐量增加了 21 倍,SGLang 增加了 17.9 倍,而机器人撰写的那部分,占吞吐量增长的比例连 0.2% 都不到。也就是说,增长几乎完全由人类驱动。
这个结论和很多人的直觉是反着的。我身边讨论这个话题时,默认叙事基本是「AI 写代码 → 机器人涌进仓库 → 数字虚高」。但这份数据说的是另一回事:人变快了,不是机器人在替人提交。当然这是相关性不是因果,论文自己也只是说「AI 辅助开发与更高的吞吐量相关」,没有拍板说就是 AI 的功劳——这个措辞上的克制我觉得是对的,三万多个 PR 的纵向数据能说清「发生了什么」,要说清「为什么发生」还得靠别的证据。
第二个数字:评论密度涨了 4.2 倍和 3.8 倍,机器人评论占增长的 15% 到 20%
这条比吞吐量那条更值得琢磨。评论密度的增长里,机器人评论贡献了 15% 到 20%,比 PR 本身的机器人占比高了两个数量级。翻译一下:AI 没怎么直接写 PR,但在 review 环节的存在感已经相当大了,差不多每五条新增评论里就有一条是机器产生的。
这和我的日常体感对得上。我现在 review 别人的 PR,第一遍基本是让 Claude Code 先过一遍、给我划出可疑的地方,自己再读第二遍——等于 review 这个动作被拆成了「机器粗筛 + 人精读」两段。所以看到这个 15% 到 20%,我的第一反应不是「虚高」,而是「这才刚开始」。撰写侧的 AI 参与可能被低估了(很多 AI 辅助的 PR 署名是人,统计上分不出来),review 侧的机器痕迹反而因为 CI 机器人、自动 review bot 这类东西更容易被识别。这个不对称本身就有信息量。
不过写到这里我要推翻自己前面的一句话。前面那句「review 环节存在感大」我原本想顺势说这是好事,仔细想想,这个判断下早了。评论密度涨 4 倍,如果其中五分之一是机器评论,那维护者要处理的绝对评论量是暴涨的——评论多不等于 review 质量高,也可能只是噪音变多。论文测的是密度,没测评论的有用程度,这块它也测不了。所以更老实的说法是:review 环节的形态在变粗筛化,好坏还说不准。这条我先记下来,等有测评论质量的研究出来再回来对答案。
顺手记两条没进正题的
周期时间是唯一一个「涨得没那么漂亮」的指标,值得单独记一下。最新阶段 vLLM 的中位周期时间是 1.04 天,SGLang 是 0.62 天,中位数确实很快;但 90 分位分别是 16.8 天和 14.3 天。也就是说,一半的 PR 一天内合并,但每十个里有一个要挂两周以上。这个长尾在「吞吐量涨 21 倍」的标题下很容易被吞掉。我自己维护小项目的经验是,快的那部分会越来越快,卡住的那部分卡的原因从来不是写代码慢——是设计没定、owner 没空、方向有分歧。AI 把「写」这一段加速得再狠,也碰不到长尾的这几个成因。
还有一个反直觉的:PR 规模在各阶段保持相对稳定。我原本猜 AI 时代的 PR 会越变越大(生成起来不要钱嘛),结果没有。说明提交纪律还在起作用,至少在这两个项目里,维护者没有放任巨型 PR 进来。想想也是,vLLM 这种量级的项目 review 压力本来就大,大 PR 根本过不了审。另外月度唯一作者数在两个项目里都持续增长,贡献者参与面在扩大,这一点和「AI 会让贡献集中在少数人手里」的担忧也是反着的——至少在这两个仓库,没有看到集中化。
划重点
第一,吞吐量暴涨但机器人 PR 占比不到 0.2%,增长是人类驱动的,别再用「都是机器人刷的」来解释这类数字。第二,AI 的痕迹更多出现在 review 侧而不是撰写侧,评论密度增长里机器占 15% 到 20%,这个不对称值得留意。第三,中位周期时间不到一天,但 90 分位还在两周以上,长尾才是真瓶颈。第四,这是相关性研究,别拿它当因果证据去吵。
这篇就记到这里。论文七个指标里我没讲的三个(合并率、贡献者多样性、新作者参与度),你可以自己翻一遍,如果从中读出和我不一样的结论,欢迎回来留言,我把笔记补上。
