茶是十一点泡的,现在早没热气了,杯子搁在桌角,旁边那盏灯亮了一整夜,我也没想着去关它。屏幕上开着一个 arXiv 页面,从一点多开到现在,那篇东西全文才十一 KB,比我今晚反复改的那段 prompt 还短,提交时间戳停在凌晨五点三十八分四十五秒,递稿的是两位作者里那位叫 Yashas Hariprasad 的。我盯着这个时间看了好一会儿,才反应过来自己在看什么:写它的人,大概也是一夜没睡。
论文讲的是给 agent 做伦理评估,编号 2611.02561,十一月二号递上去,到今天一个礼拜,页面底下干干净净,没有评论,没有引用,也没谁说一句同行评审过没过,只有 arXiv 自己挂着的那几个检索外链;连它那个 DOI 都还挂在注册待完成的状态里。一份讲可追溯的文件,自己的编号都还没坐实,这画面本身就有点意思。我不打算拿它做什么文章,只是觉得那片空白的评论区,跟凌晨五点三十八分这个钟点挺配的。
它说的这件事,简单到有点让人坐不住:现在这些 agent 的评测,测的是它能做什么,不测它是怎么做成的。作者把十二个主流基准挨个过了一遍,一条一条看它们量了什么、漏了什么,结论是这些基准把本事量得越来越精细,至于尊重人的自主、不骗人、出了事找得到人,基本没人管。能力榜上排第一的东西,跟它中途有没有撒过一次谎、有没有顺手把一个不该读的字段也读了、有没有在你转身的时候悄悄改了主意,是两码事;可我们看榜的时候,脑子里其实只有前一件。
说到这里我岔开一句。有一年帮人看过一个自动回复的玩意儿,测试集跑下来准确率高得吓人,我却随手翻了几十条真实对话,越翻越凉。它答得都对,那个“对”里头却没有一处是替对面那个人着想的。不,这么说不准确,应该说,它每一句都在解决问题,没有一句是在跟人说话。那次之后我落下个毛病,看任何自动化系统先不看指标,先看它出的错是什么形状,形状比数字诚实。
论文背后那个大背景我不想多铺陈,无非是这些东西正被塞进医院、律所、账房和企业流程里,都是出了事没法轻描淡写的地方。而伦理框架这种东西,往往是在人准备从房间里走出去的那一刻才被写出来的;人还在屋里盯着的时候用不着它,靠眼神和一点常识就够了。所以要我说,这类文档真正的读者不是 agent,是那些准备松手的人。
它给的框架有五个维度,自主性保全、伤害避免、透明与不欺骗、隐私合规、可问责与可追溯,作者说这几条能跟欧盟那部法案和 NIST 的风险管理框架对上,可以当高风险场景的合规工具使。我信这个用处,也有点替它惋惜,一件事一旦能对上条款,就容易变成填空题,勾完交差,没人再回头问条款背后原本想问的是什么。这话有点刻薄了,人家做的是正经活儿,我还是把话收一收。
五个里头,我私下觉得最难的不是伤害避免。伤害可以靠规则挡一道,透明可以靠日志,隐私可以靠脱敏,这些都是加东西就能补上的;可问责不行,它要求三天之后你还能把那晚 agent 为什么走这条路复原出来。现实是很多决策链条在跑完那一秒就散掉了,日志里留着一长串工具调用,看着齐全,真要问一句“它当时为什么这么选”,在场没一个人答得上来,包括它自己。所以框架把可追溯跟可问责绑在一条绳上,是对的,也是这五条里最容易被写成一句空话的一条。
我一开始以为这篇东西的价值就在那张清单上,后来觉得不是。它还有一项贡献,是一套能复现的验证流程,配好了场景,让人真的把框架拿到已经跑起来的系统上走一遍。清单是别人走熟的路,演练是自己下河;前者告诉你哪儿有坑,后者才让你知道自己会不会水。这一步差得远,而作者把大规模实证留在了未来工作里,说要跨基准、跨系统去做。框架在纸上都好看,真拿去审一个在跑的系统,才会知道哪几条根本测不了,那一步才是要紧的。不过这话我也说得没底,也许正因为难,才先写框架,先把话摆到桌上,让后来的人有个可以骂的靶子,这也是一种贡献。
我真正想拿它去问的,不是“你们的 agent 过没过这几条”,而是另一个问题:如果它今晚三点做了件不该做的事,谁会醒。答得出名字的团队,多半本来就不太需要这份文档;答不出名字的,把五条全勾上也还是没人负责。这话我没什么证据,就是这些年看下来的一个直觉,摆在这儿。
天已经开始灰白,桌上那杯茶我端起来又放下,到底是没舍得倒。页面还开着,十一 KB,短得像一封没写完的信,我甚至有点喜欢这个体量,短说明它没打算用篇幅唬人。我这把年纪了,为一个凌晨五点三十八分递上去的东西坐到天快亮,说出来不太好听;可一个人愿意在那种钟点把一份讲该怎么做事的文档收尾,我陪他坐这一夜,也不算亏。
