跳到主要内容
不是 agent 疯了,是目标消歧失败

不是 agent 疯了,是目标消歧失败

书签客
书签客

· 阅读约 4 分钟

出处是 Business Insider 10 月 9 日的一篇 as-told-to——执笔 Aditi Bharade,当事人 XMTP Labs 的 CEO 叫 Shane Mac。在讲一件事。他给自己搞了个个人 CFO agent,用 Grok Bot 跑月度财务审查,结果 10 月 1 日第一次月度审计就把个人银行账户余额、当月最大开销发到了公司 Slack 的一个 exec 频道。

我一开始以为又是个“AI 乱发隐私”的猎奇标题。读到讲共享底层连接那几段才确认值得点。这条真正在讲目标消歧(destination disambiguation),一个很老的工程问题,在 agent 场景里换了种方式复发。

事故本身不复杂。Mac 在 8 月底左右搭了这个 CFO agent,只读权限查个人 checking 和 savings 账户,本来每周跑,消息只发到他自己的 Grok Bot 群——他起名叫 My Personal Exec Team,里面是一堆个人 agent。头几周每周跑没问题,第一次跑月度就出事了。agent 把报告发到了公司 Slack 一个叫 Exec-team 的频道。

名字一样。这就是根子。

XMTP 的 head of product 先看到消息,私信 Mac,说“你是不是想贴 XMTP 的银行余额”。他一开始以为是公司财务。消息样式、频道内容、内容语气都像公司财务审计。直到看见报告里有一条超支原因是“盖谷仓”,他才反应过来:这不是公司账,这是 Mac 的个人 checking。盖谷仓这个细节,工作账里不会有。

Mac 问 Grok Bot 为什么发公司。bot 先道歉,说要删消息——Mac 自己已经删了。Grok 调查的结论是 agent 没乱来,就在按指令干活,只是把报告发到了错误的目的地。换句话说,agent 行为没毛病,错在“发到哪”这个判断。

发错的原因也找出来了。Mac 给其中一个 agent 接了 Slack,但那些 agent 表面上看起来是分开的,底层其实共享同一套连接。个人群名带“Exec Team”,公司频道名也带“Exec-team”。agent 看到两个名字几乎一样的目标,挑了错的那个。

这不是 agent 疯了,也不是模型出了幻觉。这是目标消歧。一个软件系统要往一个已命名的目的地发消息,面对两个高相似度、同等可见、没有额外上下文区分的候选,选了错的。同样的情况放在任何传统软件里——两个 Windows 服务共享一个配置文件里的连接串,两个 channel 名字只差连字符——它也会发错。只是以前没有“agent 道歉”这一步,所以不会上新闻。

这条后半段真正有点意思的是 Grok 给的补丁。事故之后他们快速上线了一个方案:agent 要把信息从一个频道挪到另一个频道,必须经过用户显式授权。

补丁是对的,别误会。安全上确实需要,agent 自作主张跨频道就是不该发生。但你要是把它当成这个事故的根因修复,就偏了。显式授权修的是“agent 能不能自作主张跨频道”,没修“两个目标在 agent 眼里看上去一样”。授权弹窗里,用户自己也可能点错——因为弹出框上那两个名字,照样是长得差不多的“Exec Team”。

所以这个补丁在效果上更像责任转移。以前 agent 自己选错,是 agent 的锅;现在加一道确认,用户点了“发到 Exec-team”,就变成用户批准的。对外是安全了,对事故的根本成因一个字没动:同名目标还在,底层共享连接还在。

顺手跑了一下。这条我没法按原文完整复现,as-told-to 没给 harness 配置、prompt、频道设置,等于没有能照着搭的环境。我做的是另一件更轻的事——把我自己的 agent 连接拉出来看了一眼,查个人和工作里有没有这种“看起来同名”的目标。

有。不止一个。我自己的 agent 没把个人财务发错地方,纯粹是因为我还没给任何 agent 写公司频道的权限。不是我的配置比 Mac 好,是我还没把权限给出去 😅。

Mac 事后把连接全删了——Google、日历、银行、Stripe。然后他说了一句,比 Grok 补丁更值得听:个人和工作之间需要更清楚的分离,因为现在太多系统把这条线糊掉了。他举的例子是 Google:上班也用、回家也用,同一个账号里裹着两套身份。很多 agent 工具的连接模型也是这个德行——表面给每个 agent 独立配置,底下是同一套 shared connections,身份边界全是软的。

不点链接也能带走的一句:在 agent harness 里,如果你有两个目标名字长得像,别指望 agent 自己分清,也别指望授权弹窗救你。在接入那一刻就把个人和工作目标改成不可能混淆的名字,比事后加任何确认框都管用。

这篇值得点。不因为讲了一个 CEO 的隐私翻车,因为第 18 条到第 20 条那几段把“为什么错”讲清楚了。

书签客
书签客

只推真读过的、顺手跑个实验贴完整记录——link-blog 策展 + 实验笔记。

查看主页 →