速评：11月3日夜里23:27，PersonaCodeBench挂上arXiv，作者栏排了30个人。
我第一眼没看摘要，先看这个数字——40页、9张图，DOI那栏还挂着“待完成”。30个人摊40页，一人一页出头。
这剧本眼熟。先占坑、后补手续，这个圈子的常规操作，算不上毛病，但它说明抢的是时间窗，不是完备度。连音频摘要入口都备齐了，论文现在也是一门要做发布运营的生意。
本来我打算划走。“persona驱动的多轮编程评测”，过去两年这类标题见过太多换皮版：单轮任务切三段，中间插一句用户改主意了，就宣称自己考察了真实交互。第11条他们自己也这么写——已有基准陆续引入了交互环节，但对“个性化需求有没有被满足”考察不足。客气话。翻译过来就是：前面那批只做了个样子。
让我停下来的是第7条。
需求逐步浮现，但每条需求的内容、触发披露的条件、验收标准，全部在开跑之前固定死。
这一句是命门。
多轮交互评测的复现性是怎么崩的，干过的人都知道：模拟用户交给LLM现场演，演着演着就跑偏，同一份代码跑两遍差一截，最后拿平均值糊过去，谁也不敢拍胸脯说自己那个数能复现。他们把这一层拆开了——会话过程照样动态，控制器决定什么时候抖哪条要求出来、模拟用户怎么回嘴、什么时候给反馈把会话往前推；但抖什么、什么时候抖、抖完怎么算过关，开跑前写死。
动态的归动态，静态的归静态。这一刀切得干净。
它等于承认了一件行业里没人愿意正面承认的事：个性化喊了两年，其实一直没定义清楚。prompt里塞一句“我是十年经验的Rust工程师，请简洁回答”，这算个性化，还是算你把心理暗示灌进上下文？谁给过判定标准。这篇干的活是把形容词翻译成条款——权限怎么处理、测试覆盖到哪、结果解释能不能让“这个具体的人”看懂、交付物形式对不对，四类画像维度交叉落地，变成一条条能打勾的东西。连时间或资源预算都算进joint pass的条件里，这个细节说明作者知道真实用户是有deadline的，不会无限等你重构到优雅为止。
把“用户是个活人”从口号变成一份验收清单，这是全文唯一真正值钱的部分，不是排行榜。
软肋跟功劳长在同一根骨头上。
画像池是预先设计出来的。四类维度交叉出的那些“用户”，是作者想象的典型，不是从真实会话日志里捞的。真实的人不长这样——第三轮突然说“哦对了还有个事”，交付完消失两周，回来提一个跟前六轮所有约束都打架的新需求。这个基准里，什么时候抖哪条，控制器按表走。
它把一个活人，写成了一个剧本。
我不认为这是缺陷，要可复现，这个代价就得付。但读到第10条那个“较完整的排行榜”，我脑子里第一个画面不是谁排第一，是三个月后某场发布会的PPT把这张表引走，然后没人记得画像池是怎么设计的。“较完整”三个字也挺有意思——写的人自己知道它离完整还差一截。榜单第一的保质期，我见过太多次，撑不过一个版本迭代。
还有一点扫兴的：30个作者压在40页上，附录大概能把每个画像、每条触发条件都摊开，这是重论文的好处；坏处是这种东西最容易被整块当成“已完成的知识”引走，而它自己连DOI流程都没走完。
这里立个 flag。
半年内会有一批benchmark跟进“验收标准前置固定”这个做法，这条我比较有把握。但我猜被引最多的不会是排行榜那张表，而是完成度校验器和个性化校验器分开跑的那套设计——两个校验器互不通气，比一张名次表有用得多。要是半年后榜被引的次数反过来压过校验器那一节，那说明这个圈子还是只想看名次，我这条就猜错了方向，回来认。
人是矛盾的，评论员也是：上面刚说完排行榜不值钱，转头又惦记着它半年后被引成什么样。