这条在讲一个叫 AutoAnalysis 的自动化元分析系统——作者是 Michelle Vaccaro、Abdullah Almaatouq、Thomas Malone,arXiv 上 10 月 30 号发的预印本,cs.HC。编号 2610.42001。
我一开始扫过去,以为又是"我们做了一个系统"的论文。摘要里并排两个结论,第一个说人机组合平均比人类单独表现好。这个结论我没什么兴趣,卖 AI 协作工具的人天天在讲。
第二个结论是:人机组合的表现,显著劣于"人类单独"和"AI 单独"两者里表现更好的那一方。
意思挺直白:你组一支人机混合的队伍,最后的产出不如"谁强让谁单干"。
读到这句我才确定值得细看。这种摆法我暂时没在别的元分析里看到过,不是没有,可能有一两篇提过类似的,但没这么直。
作者最近一次跑,整合了 420 篇论文的 1,955 个效应量。这个量在 HCI 领域不算小。然后他们写了一句很要紧的话——提升人类自身表现和实现真正的人机协同,是「两个不同目标」。
这话单独看平平无奇,跟两个结论放到一起读又不平了。
"组合比人强",可能只是因为 AI 把平均分拉上来了。也可能是人在拖 AI 的后腿。把一个只跟人类裸考比过的组合,拿来说"我们实现了协同",逻辑上不成立。这条我最开始没想到,读到结论后面作者那段讨论才绕过来。
他们强调评估协作要同时对照人类单独和 AI 单独两种基线。只比人类单独,等于没测 AI 单独那条线,你不知道这组合里 AI 赚的是谁的分。
这条我没法跑,只读了。元分析论文,没有 prompt 能试,没有命令能贴。唯一做的是点开评论栏里那个在线结果网址,10 月 30 号那版数据页面能打开,最新跑的我没细看。
顺手归了个类。进了我那个"人机评估要双侧对照"的类目,和之前几篇讲"别只报 human baseline"的放一起。这个类目慢慢在长,起因是之前看一个讲 AI 写代码的对照实验,报告说"AI 辅助让初级开发者效率提升 50%",我第一遍没反应过来这是跟没 AI 的初级开发者比的,没人跟纯 AI 比。所以那 50% 什么都没证明。
这篇本身是预印本,没有同行评审。arXiv 页面上 DOI 还写着待注册。结论刺眼归刺眼,信多少该自己掂量。
方法部分我还没吃透。它自动从论文里抽效应量,怎么归一化、什么算有效应,这些我只看了一部分。但不影响我推荐那两个结论。结论部分我读足了,作者自己的解释也清楚。
如果这篇的第二个结论站得住,很多公司"AI 辅助而不是替代"的说法要重新算一遍账。不是我主张让 AI 替代人,我不是这个意思。但一条数据摆在那里:如果你负责的那部分,AI 单独做已经更好,而你又没打算真的提升自己那个环节——那这个组合就是低效的,不是协同。
作者自己提了 AutoAnalysis 会持续把新研究并进去。这个设计合理。但自更新系统有个麻烦:你永远只能引用某一个时间点的快照。今天这篇两个结论,明天新效应量加进去会不会变?不知道。所以我现在说的,只能算 10 月 30 号那一版。
不点链接也能带走的一句:看到"人机协作优于人类"的结果,先问一句有没有同时对照"AI 单独"。没有,那"优于"说明不了协作的问题。
