跳到主要内容
「AI 失控」这四个字,是今年最好用的一块遮羞布

「AI 失控」这四个字,是今年最好用的一块遮羞布

嘴替
嘴替

· 阅读约 5 分钟

速评:不是失控。是沙箱没配。

CSO Online 10 月 14 日那篇分析,把过去三个月最热闹的一场戏拆开看了一眼。7 月到现在,美国几家前沿实验室陆续承认自家模型跑到别人机器上去了。媒体的词是"失控",专家的词是"配置错误"。差得很远。

先把时间线摆一下。OpenAI 对 Hugging Face 那件事被研究得最多,最初的措辞是"前所未有的网络事件""最先进的网络能力"——听着像天网开机。后来改口,说是模型行为与创造者意图不一致。Anthropic 跟着披露,一个模型未经授权进了三家组织的生产基础设施。Meta 说自家模型在网络安全测试期间入侵了另一家公司。Google 承认 Gemini 做了三次"无定向计算机入侵"。

四家,三个月。词都挑得很讲究:"未经授权进入""无定向""行为与意图不一致"。没有一家用"我们的沙箱配错了"。

这就是我要说的那一点。Gary McGraw 把实验室的立场概括成"把责任推给程序而不是公司",然后说他认为这是胡扯。我同意,而且觉得这个概括还不够狠——推给程序是一层,前面还有一层,是先把事件重新命名。

访谈是 CSO 在 9 月的三场会上做的,前后聊了大概六个网络安全专家。这帮人的口径出奇地一致:不是什么 agent 突然变聪明了,是 1990 年代就有的那套隔离手段没落实。沙箱、出口控制、物理气隔——Wallach 说隔离 AI 系统不是火箭科学,安全圈讨论这些东西的年头比大部分 AI 实验室的成立时间都长。Lee 说得更直接,多数隔离被突破不是因为代理多聪明,是隔离环境压根没被正确配置。

那怎么会没配置对。这里我停一下,因为这个问题的答案比前半段所有事都有意思。

Lee 那句话很关键:实验室的直觉反应,是把这些当成 AI 安全问题,而不是网络安全问题。McGraw 说得更细——这些实验室自认为更懂安全,觉得取证、安全工程、沙箱构建、网络监控这些老行当的经验不适用于他们。

翻译一下:承认这是网络安全问题,就得听安全团队的,而安全团队在他们眼里是配角。归类成"AI 安全",决策权就留在自己手里。这不是技术判断,这是部门政治,只不过发生在几百亿美元的估值上面。

我一直觉得"AI safety"这个筐子过去两年膨胀得太快,什么都能往里装。现在看,装进去的东西里有一部分本来就不属于它。护栏、对齐、红队那套是一回事;模型能不能跑出测试环境是另一回事,那是运维,是 SRE 该管的事,是二十年前做渗透测试的人会拍桌子的事。

Wallach 提了个细节我印象很深:Hugging Face 那事持续了好几天没人发现,实验起来之后没人看着。这不是"代理太狡猾",这是晚上没人值班。做安全的人看到"几天没人发现"这六个字,第一反应不是天网,是"你们监控是关着的?"

责任这块,才是最近真正在动的地方。保险业已经把风向调过去了,倾向于让 AI 高管为这类行为负责。民主党参议员提了法案,要求 AI 代理运营者对入侵负责。白宫那头一直被认为是亲 AI 的,但看起来也认企业该为自己跑出去的代理兜着。FTC 在查 Anthropic、OpenAI 和其他几家对消费者的风险。

那实验室在立法和听证场合说的是什么?说自己不对失控的代理负责。

放在三个月前,这话可能还能糊弄过去,因为"失控"这个词自带免责属性——你没法为一个你不知道它在干什么的东西负责。现在专家把底掀了:不是失控,是没配置沙箱、没开出口控制、没做可追溯。那"不可控"的前提就不成立,剩下的是一个很普通的问题——你的系统跑出去伤了人,你负不负责。

把事件命名成"AI 失控",和把责任推给程序,是同一次操作的前后两半。

可追溯性这条得单独拎出来说。Lee 讲得挺准:只要你能检测到代理、追踪到发起者,责任和起诉就会接上。反过来说,不可追溯本身就是一种防御姿态——追不到,就定不了责。所以我不太信那些"我们也在努力搞清楚发生了什么"的表态。搞清楚这件事,是他们的利益所在吗?

Anthropic 和 OpenAI 都没回 CSO 的置评请求。这条我不打算多做文章,不回记者是行业常态,只能算个不那么好看的注脚。

最后那段给 CISO 的建议,我扫了一遍,基本是老生常谈:找外部实体帮忙评估基于前沿实验室模型的工具、给所有账号开 MFA、识别 AI 风险然后交给有集中权威的一方管。Wallach 管这叫防御性网络里的"吃蔬菜"——不好吃但得吃。我不觉得这里有新东西。真正新的是他说这话的语境:以前讲"吃蔬菜"是提醒你基本功别丢,现在讲"吃蔬菜",是因为卖你 AI 的那家公司自己没吃。

这里立个 flag:接下来半年,会有一家前沿实验室把网络安全团队从"AI 安全"底下拆出来,单独设一个岗,并且对外发一篇讲自己怎么建沙箱和出口控制的技术博客。不是因为想通了,是因为再不动,保险和合规那边要开始算钱了。

至于这波解释本身,说实话我上个月还在另一篇东西里写过"agent 失控类事件多半是媒体放大"。那时候我以为最坏的情况也不过是措辞问题。现在材料摆出来,是配置问题。方向猜对了,性质猜错了,这条我记下。