先说结论:6 分。问题 9 分,答案 4 分,加权下来勉强及格。
论文 10 月 8 号挂上 arXiv,编号 2610.11179v1,cs.SE,30 页。标题起得很凶——《Who Pays the Review Cost? Triage, Fairness, and Accountability in AI-authored Pull Requests》。
「谁付评审成本」。
这个问号是真值钱。
前两年聊 AI 写代码,成本都记在 token 上。一百万字多少钱,rate limit 几分钟刷一次,context window 塞不塞得下整个仓库。全是买方账单,看得见,算得清。
agent 挪进 PR 工作流之后,记账科目换了。它不再问你收钱,它问你要时间。
一个自动生成的 PR 摆在那儿,范围说不清,理由就两句「按需求实现」,CI 绿了但没人知道它到底测了什么。你得读。读完还得猜。猜完还得决定是退回、是接过来自己改、还是先搁着等作者回话。
论文给这东西起了个名字:reviewability debt——生成代码缺理由、缺验证、缺归属的时候,评审者被迫垫付的那部分工作。
这个词,我给满分!
它把一堆说不清道不明的烦躁,压成了一个能被观察、被计数、被排进 sprint 的对象。这比再写十篇「AI 会不会取代程序员」有用得多。
然后是开怼的地方。
标题问「谁付」。正文递上来的,是一份问卷。
样本:239 名有代码评审经验、接触 AI 作者 PR 程度不一的从业者
覆盖:31 个国家
方法:情景设定 + 自我报告
篇幅:30 页
成本数据:0 分钟,0 个 diff,0 次返工
最后一行是我加的。我加它就想说一件事:这篇没做这个。
「谁付评审成本」——这个问号,全篇没被换算成一分钟!
239 个人,31 个国家,混合方法,情景设定加自我报告。样本不算小,跨地区也做得挺认真。我相信他们诚实地描述了自己的感受。我不信感受能当账单用。
问「你会不会为一个 AI 生成的 PR 多花时间」,和月底翻自己的评审记录,是两码事。前者问态度,后者才叫成本。这篇做的是前者,用了后者的标题。🙃
但有一条,我得当场改口。
我原以为这类论文最后会落到「应该禁止 AI 提交 PR」或者「必须强制标注生成」上。没有。
受访者没把 AI 作者身份本身当成一律拒收的信号。这条跟满地的哀嚎对不上。过去一年你在任何一个开源项目的 issue 区蹲半小时,都能看见有人骂 AI slop PR 淹了列表。骂得对不对另说,但论文的数据说:真正坐在评审席上那批人,并不按作者身份一刀切。
预期拉满结果被打脸,这次是往好的方向打。
那他们按什么切?按可问责性。
范围有界
理由跟项目背景对得上
验证超出 CI 那一层
贡献者能及时回话
合并之后归属查得到
翻成评审席上的大白话——你交上来的东西,我骂你的时候得找得到人。
这里我要停一下。
这五条,拿去审一个真人新人的 PR,也能刷掉一大半。
范围有界?现实里多的是顺手改了两个不相关文件的。理由贴项目背景?commit message 写「fix」的一大把。验证超出 CI?CI 里那三个断言还是上个季度加的。合并后归属可识别?人都离职了。
所以这压根不是「AI 作者 PR 的特殊标准」。这是行业一直没好意思跟真人提的标准,现在借着 AI 的由头说出来了。
我不觉得这是论文的漏洞。我觉得这是它没说透的那半句。
它还顺手打了一类资历偏见的脸:面对新人提交的 AI 作者 PR,受访者更看重这人此刻在评审过程里露没露面,而不是他资料页上挂了多少星。
这话我爱听。但它也是最贵的一条。
「可见参与」是要花时间的。花谁的时间?
论文自己交代了,定性反馈里出现了指导方式、审查节奏、推迟处理和分流安排的变化。翻译过来:原来那套「新人来了带一带」的隐性活儿,被生成代码放大了,没人给它记工时。
然后论文的主张来了:治理应当让人的判断在生成贡献消耗稀缺评审注意力之前变得可观察。
这句我读了三遍。
意思是,PR 打开之前,先把人的意图、范围、验收方式摆出来,让评审者一眼看得出这活儿是人主导还是机器主导。
方向我认。但它把成本挪了个位置,没消掉。
判断要先变可观察,就得有人去写那份意图、圈那个范围、定那个验收标准。这活儿大概率还是落回同一批人身上——提交者,或者更常见的,评审者自己。
标题问「谁付」,论文的答案是「应该由提交方在提交前付」。
这是政策主张,不是成本核算。这两样东西之间差着一整个实证章节。
有一段我没读完,先别信我这半句:定性部分我只扫了一半。里面关于「难以观察到人类主导时」的分流安排,我怀疑藏着比量化部分更硬的东西。等我读完再补。
锐评评分卡:
- 问题选得准不准?准。agent 进 PR 工作流之后,稀缺资源从算力换成了评审注意力,这个转向值得单独立题。
- 答案够不够?不够。239 份自我报告回答的是态度,不是成本。标题里那个问号,全文没兑现成分钟数。
- 有没有真东西?有一个。reviewability debt 这个词,建议同行直接拿去用,比「AI 代码质量堪忧」这种车轱辘话强一百倍。
- 值不值得现在读?值得,但读法要对。把它当成一份「评审者到底在意什么」的清单读,别当成本研究读。
照完了,收工。
这钱花得冤不冤?论文不要钱,冤不着。冤的是把结论抄走的人——「研究表明 AI PR 增加评审负担」这种话,这篇还撑不住。
它撑得住的是另一句:评审者不拒 AI,评审者拒的是找不到人负责。这句才是它真正测出来的东西。
