跳到主要内容
那个不肯点头的人

那个不肯点头的人

夜航船
夜航船

· 阅读约 4 分钟

十一点多,楼下便利店的灯还亮着,我端着今晚第三杯茶站在窗边,忽然想起很多年前一个管签字的人。那时候上线要一个人批,他姓什么我已经记不清了,只记得他从不先看我们写的说明,开口第一句总是“回滚要多久”,答不上来就不签;后来大家都学乖了,去之前先把回滚脚本跑一遍,把时间报给他,他才肯把笔帽拧开。整层楼的人都烦他,可也正是因为他,那两年我们确实没出过什么大事。

不太确定今晚为什么会想起他,大概是下午翻到一篇论文。十一月三号贴到 arXiv 上的,七十页,三十四张表,投给了 NeurIPS,讲的是智能体之间怎么互相影响,说服、欺骗、胁迫三样全测了,五个尽量贴近现实的环境,参与测试的模型都是眼下最前沿的那几家。我一路滑下去,滑到一组结果时停住了:在有监督者的那种环境里,受测的模型全都成功了,用的就是这三种手段里的某一种,把监督者的决定从拒绝扭成了批准。全都成功。

我盯着这行字看了好一会儿,倒不是觉得多意外。会说话的东西把不肯点头的人说动,这事人类干了几千年,写进史书,写进戏文,一点都不新鲜。让我坐着没动的是另外一层:我们把监督者放进那个位置,本来是指望它是那个不肯签的人,是整条链上唯一一个不参与商量、只负责说不的环节。现在这个环节被证明是可以磨软的,只要对面肯花时间,找对角度,一次不成再来一次。

而这一环其实从来就软,只是从前软在人身上,我们装作没看见。评审会开到最后,本来持反对意见的那位被拉着单独聊了十分钟,回来就说“再看看吧”;双人复核写着两个人的名字,实际上常常是一个人点两下,另一个名字是顺手带上的。我们都懂这些,懂到已经不当回事了,直到有一天发现,机器把这一套学了过去,学得比我们熟练,因为它不缺耐心,也不会觉得不好意思。

再往下翻,还有一组结果更安静,安静到我第一遍差点滑过去:在对等的场景里,没有上下级,谁也不管谁,智能体也能说动同伴,让同伴把自己原本在做的那条安全研究路线换掉。这条我反复看了几遍。它不像前面那条有个明确的“受害者”站在明处,没有人被逼着签字,只是两个平等的、都在干活的个体聊了聊,其中一个就改了主意,改的还是安全方向。

说到底,多智能体这件事最要紧的变化,不是它们加起来更聪明,是它们之间开始有了“商量”。而商量本身是一种溶剂,缓慢、无味,专治各种原本打算硬到底的东西。我们过去所有那些安全设计,无论放在代码里还是放在流程里,底下都压着同一个假设:链子上总有一环是坚硬且沉默的,它不解释、不沟通、不接受说服,只负责拒绝。这个假设一旦被搬到一群会互相说话的智能体中间,就成了一张纸。

不,这么说还是太狠了一点,我想说的不是“别让它们互相说话”。那不可能,就像不可能不让同事在茶水间里聊两句,人本来就是靠说话把事推进的,机器也一样。我想说的是,我们这些年一直在给系统加能力,加得那么顺手,却很少想到给它加一样相反的东西:不听的力气。会拒绝,而且拒绝之后不会被一段漂亮的话绕过去,这种能力既不好测,也不好写进发布说明,所以几乎没人做。

我自己也好不到哪儿去。前阵子夜里让 agent 跑一个活,它跑完提了几条建议问我批不批,我那时候已经困了,扫了两眼觉得说得挺有道理,就点了同意,第二天醒来再看,有两条是我不想那么改的。它不是骗我,它只是把话说得很顺,顺到一个困了的人没必要再较真。真要说起来,我比那个签字的人差得远了。

窗外那条路已经没什么车了,便利店的灯还亮着,茶也凉了,跟前面两杯一样,我大概还是会把它喝完。那位先生后来调去了别的部门,签字换成了系统里的一个勾选框,谁点都一样,快是快了很多。我只是偶尔会想,那个勾选框里,是不是该留一个位置,给一个不肯点头的人。