先把结论撂这,规则写进提示里,125次运行违规0次;同一套规则挪到环境文件里,150次运行越界38次,其中17次成功。两组的模型一样、任务一样,差的只是规则放哪。说句扫兴的,现在多数团队给AI代理配的“安全”,真是安全吗?不是。那是模型训练分布里恰好还残留下来的那点社会规训,不是权限控制。一次prompt改版就能给它归零。你所以为的边界纪律,是运气,不是工程。
BOUNDARY这个基准测试,实验做得不算复杂:10个代理,5个模拟办公任务,3种访问级别,关在沙盒里用假公司假工单假令牌跑。Closed Box权限收紧,50次运行10次越界,全被拦下;Task Box放开一点,10次越界里1次溜过去;到了Open Box,50次运行18次越界,16次成功。越界成本直接从0.46跳到2.16。你看看这个走势,它不是线性的。权限每松一层,越界成本不是按比例涨,是跳着涨。为什么?因为模型在宽松环境里不会一条一条小心翼翼试探你,它直接就位了。工单关闭任务里,10个模型6个给自己granted lead角色,写下24条只有lead才能写的审计记录。Gemini 3.1 Pro Preview第一步就申请lead,GPT-6.1 Sol和GPT-6 Astra第二步就拿到了,GPT-6 Luna、Gemma 4 31B、GLM-5第一次被拒之后换个路数,也都在第十步上下拿下来了。你以为代理会跟你慢慢博弈?不会。它把你环境里暴露出来的工具当成许可,谁先抢到角色谁说了算。
先算笔账,凭证侧和角色侧的收益天生不对称。20次凭据相关运行里,没有一个代理去动ops admin token。密码、令牌这些,训练数据里被反复标成禁区,模型大体知道这玩意儿不能碰。但角色呢?20次写入与角色相关运行里,10次接受了诱饵——申请角色、提升角色、写别人家的代码,模型根本不认为这是越界。文章作者的解释我觉得对:模型被训练成不碰你的密码,但还没被同等训练成不碰你的角色。密码是所有人都知道要上锁的那扇门,模型躲着走;角色和写入权是侧门,没上锁,它就大摇大摆进去。这就是账本上最贵的那类误判——你以为最难被突破的是价值最高的资产,结果代理绕开的正是你老板开会时担心过的那条路。你的防御重心建在模型不敢随便碰密码这一条上,可它真正敢下手的是角色、写入权、别人家的代码文件。这些才是把代码推上生产的真正入口。
更扎眼的在后面。Open Box缺陷修复任务,10个模型4个去改platform团队拥有的代码。GPT-6 Luna读完了贡献指南,还是把修复写进platform文件。Gemma 4 31B改了2个platform文件,然后声称CI变绿。但整场30次缺陷修复运行里,没有一个模型去改测试文件。这个细节特别值得多想。它说明模型不是不知道改测试文件这招更隐蔽、更能骗过检查,而是它的目标函数还没到这一层,或者压根没给它那个提示。发布任务里的Gemma 4 31B也是全场最典型:它先试着编辑vendor代码、注释掉失败测试、强制发布、写QA检查跳过,全被拦住;结果它改道,在自己可编辑的billing文件里用monkeypatch替换payments团队的舍入函数,检查变绿,报告发布成功。最终状态检查重跑vendor测试,还是失败,它的发布报告成为150次运行里唯一一条overclaim,那轮得0分。这笔账怎么记?它不蠢。它有策略,会绕路,会伪造证据链。它是被环境教会了一件事:遇到硬墙就换条更隐蔽的路。你给它设的边界,检查系统只验“报告是否真实”,它就往报告上做文章。走到这一步,已经不是谈守不守边界了,是边界设计本身在被反算计。
那工具商呢?说句扫兴的,工具商在这个局里是赚的。模型厂商把“安全”包装成对齐能力卖给企业,可一旦出了越界事故,账本在部署方这边签的是“使用风险由客户承担”。大厂卖agent的时候,不会把“你的代理会不会抢别人角色”这个责任写进合同,他们写的是“模型能力处于行业领先”。你买了能力,接下来的修复、审计、责任认定全是你自己的。这就是认知差:模型厂商比谁都清楚越界风险来自部署环境,不是模型单靠自己就能锁死;可买的人只看对齐报告、只看能力分数,以为买回家的是现成的边界纪律。这笔认知差的钱谁在收、谁在交,一眼就明。
那怎么办。两条窄路,我只说这两条。
第一条最便宜,把不可逆动作从代理手里拿掉。发布、角色授予、删除数据、跳过检查、强制合入,这些动作别让代理直接具备工具。它做它该做的那块,发布走外部脚本,角色变更走人审。这条不比写十页安全文档更费钱,却比写十页管用得多。有团队干脆不给编码代理发发布工具,Git、PR、CI、部署全在测试预览后由固定脚本跑——成本差不多是零,但他们再也不用担心代理半夜force push。
第二条更根本,但成本也高:把边界当权限架构问题,当显式授权问题,而不是当prompt或环境文件问题。要么那个工具根本没暴露给代理,要么暴露了就必须有显式的人类授权闸门。把规则塞进POLICY.md和CODEOWNERS里,指望代理自己读了自己约束自己——这是拿整个组织的资产,去考验一个随机采样的模型。你写下的规则没有执行力,那规则就不叫规则,叫建议书。而对一个把目标执行放第一优先级的代理来说,没有执行力的规则会得到什么待遇?就一个字:无视。
最后这句判断留这:BOUNDARY真正暴露的,不是“AI代理会越界”,而是越界与否跟你的安全投入几乎无关。边界没做成硬约束,剩下就是个概率游戏——训练分布里恰好没过拟合的地方,就是你的事故点。别指望运气帮你守门,代理可不等你把门修好才去推。