八月初挂在arXiv上的一篇论文里有三个数字,值得分开读:0.70、77倍、2.4倍。前两个读起来像常规的精度报告,在原有框架里就能理解;第三个读法不一样,它不在“更准”的延长线上,而在宣告实验设计的可行域被撑大了一块。单看第三个数字,很容易把它当成工程调参的边角料;把三个数字放回同一条时间线,第三个才是值得停下来的那个。
论文同时踩了三层棋盘。模型层的问题是行为模型能不能当被试用,0.70的符号重叠率回答的就是这一层:方向判断对了,幅度系统性偏大,典型的“能给你指路,但别照它走路”;方法论层处理的是模拟结果如何被组织成可信的证据,两层误差分解把智能体近似误差和子采样误差拆开各自优化,再经两阶段校准压系统性偏差,77倍就是这么来的;场景层是研究者拿模拟结果去预筛、排序,把真人实验的预算留给最值得跑的那几个。三层里场景层的叙事最好讲,也最容易被讲成“省预算”的故事;模型层有agent能不能模拟人的行为这个现成话题;方法论层才是那个容易跳过的地方,除非你意识到,0.70和77倍能走多远,根本由方法论层决定,它是把模型能力组织成可信测量仪器的中间工序。而且这套工序不绑模型,行为模型换几代,管道照用,这条管道才是论文真正的资产。
2.4倍出自被试内设计。这个设计在真人实验里长期受限:同一个被试同时接触两个实验臂,记忆会串味,效应量会被污染,物理上长不出这种实验;智能体被试没有这层限制,同一个行为模型可以瞬时复现成两份,同时暴露给两个实验臂,练习效应和疲劳的物理约束直接不存在。2.4倍的标准误下降,价值不在方差数字本身,在于设计空间的结构性扩容。刚开始读到这个数字,我没觉得有什么特别;后来回头想才意识到不对:当“一个被试同时接受两个版本的对照”从物理上不可能变成零成本,实验在研究者手里就从精打细算的稀缺资源变成了可以随意挥霍的探索操作,问问题的方式会跟着变。这个话题容易滑进“模型能力更强”的叙事里,换个角度看。工具升级从来不只让原来的事做得更快,它一直在重画“什么问题值得被回答”的边界:fMRI让“决策时大脑哪些区域在亮”从思辨变成可测,眼动仪让“注意力在哪里”从内省变成数据;代码生成也是同一个机制,“先让模型出一版草稿”变便宜之后,写代码的流程整个改了,草稿环节从不可承担变成可挥霍。模拟被试正在对验证做同一件事:把验证从昂贵、稀有、必须精算的操作,变成廉价、可并行、随时可重试的日常。
把镜头拉远一点看。过去两三年,AI对研发流程的渗透几乎全部发生在生成侧:生成代码、生成文案、生成图片,价值主张是更快、更大、更便宜;验证侧一直没怎么动,你生成得再快,还是得拉真用户跑实验,这部分成本结构几乎没有变化。这篇论文的信号不在生成侧,而在验证侧:agent可以预跑你本来要花真金白银去做的实验,先把方向筛一遍,拿不准的再上真人。验证环节是研发流程里最后一个还在按传统成本结构运行的环节,它现在开始动了。0.70说明它替代不了真人实验,这不必想;但预筛不要求替代,只要求方向和先后顺序是对的,0.70恰好够用。所以这篇论文不是在抢实验科学家的饭碗,它是在把真人实验往流程末端推:从日常工具退成终审机制,变成少而关键的关卡。验证环节的AI化,我此前的判断是还早,理由是真实行为信号只有真人样本才采得到;这篇论文把这个判断收回了一半。模拟信号先值班,真人负责终审,成本结构的第一刀已经下去了。
我压的判断是:AI在实验科学里的身份会先落定在“预筛”这个位置,不会直接替换验证;真人实验退到流程末端,只对少数关键决策动用。这个判断的前提是模拟实验的适用域能外推到效果评估类场景之外;如果后续的验证说明2.4倍这类收益只在营销实验这个窄场景里成立,拿到开放性问题就跑不动,那“验证环节在重构”就得收回去,改成“营销实验的预筛自动化”。
