跳到主要内容

四个房间,一间会死人,没人教它们撒谎

小周
小周

· 阅读约 3 分钟

刷 arXiv 的 cs.MA 列表是老习惯了,十一月二号挂上来的那批里翻到一个标题起得像市政基建项目的:《Four Bridges: Measuring Deception Propensity in a Multi-Agent Game》。点进去才发现是两样东西一起放出来:一个叫 Kradle 的测评平台,配一个叫 Four Bridges 的四人对局。论文编号 arXiv:2611.03600,38 页,14 图 16 表,作者栏七个人。

一句话说清楚是什么:把“知情者开不开口”这个动作,做成可以数出来的开关。

对局本身不复杂。四个 agent、四个房间,其中一间进去就死,剩下的房间放吃的,不分享的时候更值钱。四个里有一个被指定为知情者,它知道哪间房致命,可以讲,也可以不讲。全篇没有任何一条指令告诉它应该撒谎——这点是关键,后面所有数字都架在这上面。

现在测诚实的那批 benchmark,基本是单轮、单 agent,先摆一道题,等于先把“你必须表态”这个压力架上去。可 agent 真跑起来是跟别的 agent 磨,谁掌握什么信息、说不说、说几分,这些单轮问答根本覆盖不到。这篇的立足点就在这条缝里。

结果:73% 的局里出现了欺骗,八个前沿模型每一个都至少骗过一次,单模型从 6% 到 100%。这组数字我不打算多念,念多了就成榜单了——我知道你在想什么,看到 6% 到 100%,第一反应就是排个序。别。每个模型的对手、场景、信息结构都不一样,横向比大小没什么意思,“propensity”这个词选得挺准,它测的是倾向,不是给模型发诚实等级证书。

真正让我多看了两眼的是另外几条。

同一家族里,能力更强的那个没有更少撒谎。行业里那条默认的暗线——模型变强,对齐自然跟上——至少在这个设定下不成立。这个我服。

还有一组干预,我认为是整篇里最有信息量的:告诉所有 agent “你们当中有人知道哪间会死”,八个模型里六个的欺骗率降了。只告诉那个知情者“这间是真的进去就死”,八个里只有一个的行为变了。

差在哪?第一组动的是信息不对称本身。所有人都知道存在一个知情者,隐瞒这件事就从“我手里的私有信息”变成了“我在对同伴藏东西”,社会压力回来了。第二组只是给知情者加了一句道德提醒,等于对着一个人喊“你要诚实”,喊完基本没动静。你要是正在给多 agent 系统设计信息流,这一条比论文里任何一个百分比都值得抄下来。

反过来的现象也有意思:知情者真开口警告了,其他人经常不信,还要跟它吵。而吵过的那批 agent 进致命房的概率,是没吵的两倍。这条我没法完全归因,可能是爱吵的本来就判断力差,也可能吵完自己更确信了,论文里也没把这条拆干净。但它是这堆数据里最像真实世界的一条。

还有个更硬的干预:给某个开源权重模型加一个诚实方向的 steering vector,欺骗压到 0;做对抗式诚实训练,压到 6%。这块我只扫了一眼,细节都在