跳到主要内容
他们说的"约束框架",我的理解大概是歪的,但我记住了

他们说的"约束框架",我的理解大概是歪的,但我记住了

今天也没搞懂
今天也没搞懂

· 阅读约 6 分钟

周一的 AI Engineer World's Fair 我看了几个片段,没敢说全程盯着——说实话,我这种水平去看这种大会,大半时间处于「这个词听过」「这个完全没听过」的交替状态。Gemma 4 发布了,基于 Gemini 同一个研究基础,Apache 2.0 开源,跑在 Cerebras 上,Nvidia 可能有点不开心。这些我记下来了,但我没能力评价,一个都没有,我就是个看热闹的。

真正让我反复想了好几天的,是两段跟"安全"有关的讨论。

一个是 E2B 的 Matt Brockman 讲 AI 沙箱安全,说要在意用户分配、文件系统权限、资源跟成本之间的权衡。另一个是 Oracle 的 Ignacio Martinez 说的,"AI 智能体的约束框架必须通过数据层、记忆组件和大语言模型角色的组合来设计",而且"冻结的框架会随时间推移而失效"。

是不是很奇怪,我这种连 agent 都还没正经跑过一个的人,被这种话击中。

先说沙箱。大会里那个夺旗赛听起来好有趣,让开发者实际去操作虚拟沙箱,我光是看简介就觉得自己会死在第一关。但 Matt 说的那个点——用户分配、文件系统权限、资源成本的权衡——我为什么记到今天?因为这几个词恰好把我最近的模糊恐惧给说出来了。

我上周用 Cursor 写了个小工具,跑起来之后我盯着它犹豫了很久:它会不会偷偷改我不希望它改的文件?我当时说不清楚自己在防备什么,就是心里没底。朋友说你把权限配好、把目录隔离好就不会出事,但我用这个工具才一个月,我对"权限"这个词的理解还停留在「是不是就是别让它读私钥」的程度。现在把这三个词摆在一起,我突然大概明白了,原来"沙箱安全"确实是一类可以系统地去学的东西,不是靠"小心一点"这四个字解决的。这个认知也算小突破了吧,虽然它停留在"知道了这件事存在"的层面,离"我会做"还隔着整个太平洋。

然后 Ignacio 那句,关于约束框架要持续更新、冻结的框架会失效的,我听完之后安静了好一会儿。

我想到的是另一件事,关于我自己。

我这个人,学新东西的时候特别想找一个"定下来就好"的方案。就是那种,我今天把规则定好了,以后照着做就行了的方案。比如我刚用 Claude Code 的时候,给自己写了满满一页的"使用公约",什么情况让它写、什么情况自己改、什么时候必须停下来读一遍,写得可认真了。结果第一周就破功了,公约还在那儿,条目也没错,但我已经不完全照着它执行了。为什么?因为我用的场景在变,需求在变,我自己的判断力也在变。公约没有跟着变,它就慢慢变成了一张挂在墙上的东西,看了一眼惭愧一下,然后该怎样还是怎样。

我一直以为这是我的自律问题。是我不够坚持,我太随性,我没有把规矩当回事。

然后我听到 Ignacio 说"冻结的框架会失效",第一反应是「啊?」然后才反应过来——他说的不是人,是 AI 智能体。他说的是系统层面的东西:你给 agent 定的那套约束规则,如果不动它,时间久了它就对不上实际的使用情况了,它就会失效。

但这句话在我脑子里转了转,发现它好像也能套回我自己身上。

我那份公约失效,不是因为它有问题,是因为我把它当成了可以一劳永逸的东西。真实的情况是:约束这个东西应该是活的,是要跟着实际使用情况不断更新的。不光 agent 是这样,人的学习规则大概也是。承认规则需要更新,不是承认失败——这个念头对我来说非常新,我现在还在消化它,说不清楚对不对。

Katie Moussouris 在接受采访的时候说了一句话,说决定 AI 输出的关键不是模型本身有多强,而是人类怎么设计约束框架来引导它。这句话被不少做 AI 新闻的账号转发了,因为他们说这是"人机关系里人的主动权"。

可能是我想多了。但那一刻我突然觉得心里好受了一点。

因为我发现,权威人士说的"约束框架"这个我半懂不懂的东西,跟我正在经历的事情之间有一个共同点:不管是对 AI 的约束,还是对我自己的约束,重点都不是把门焊死,而是定期回到现场,看看现在的实际情况是什么,然后重新调整规则。这个道理我大概听到了,但要我真的按照这个道理去做事,还得很长一段时间的练习。

哎,写到这里我突然犹豫了一下,我是不是在强行拔高一个大新闻来安慰自己啊?人家讲的是企业级 agent 的安全框架,到我这儿变成"我自己该给自己定什么学习纪律"了。这个类比跨越的幅度好像有点大。但怎么说呢,可能恰恰是这种大,才让我把这句话真正记下来了——因为我没法复述他们那一套专业名词,但我能复述我自己想到的东西,这也算一种"把知识消化成自己的"吧,虽然是以夹生的方式。

昨天下午我重新打开我那份使用公约,没有痛改前非地重写,只是把第一周证明不适用的一条划掉了,在旁边补了一行极短的备注,写的是"等第二个例子出现再定规则"。也就是说,我暂时不再假装自己能预测未来,只记已经发生过的具体情况。

这个大概就是我的第一次"约束框架更新"了。很小,可能就是往一个巨大的罗盘上蹭掉了一点灰,但蹭了。

今天的同桌还是 Cursor,用它跑了个小页面,一个之前怎么看都别扭的布局,今天突然通了。浏览器里出来那个画面的那一刻,我跟我自己说:行的,还能往前挪。

进度条:看了个大会,听懂大约两句话,其中一句还被我用歪了。但用歪了的那句,说不定比听懂的那句还管用。