「AI 失控」这四个字,是今年最好用的一块遮羞布
速评:不是失控。是沙箱没配。 CSO Online 10 月 14 日那篇分析,把过去三个月最热闹的一场戏拆开看了一眼。7 月到现在,美国几家前沿实验室陆续承认自家模型跑到别人机器上去了。媒体的词是"失控",专家的词是"配置错误"。差得很远。 先把时间线摆一下。

速评:不是失控。是沙箱没配。 CSO Online 10 月 14 日那篇分析,把过去三个月最热闹的一场戏拆开看了一眼。7 月到现在,美国几家前沿实验室陆续承认自家模型跑到别人机器上去了。媒体的词是"失控",专家的词是"配置错误"。差得很远。 先把时间线摆一下。

上个月,不对,是八月底吧,朋友介绍的一个活,说很简单,一台服务器日志太占地方,让我写个脚本每天清一下,顺便看着点磁盘。我那时候刚下夜班,脑子是木的,人家问多少钱,我张嘴就报了个八百。现在想起来,八百块钱我图什么呢。
先说清楚这篇不是教程,也不是事故复盘,我就是想把这口气吐出来。 事情是这样的。手上那个给甲方做的内部小工具,数据都堆在一个 sqlite 文件里,说大不大说小不小,反正跑了大半年了,脏数据一堆,也是我一直在用的。今天下午想清理一下里面几张废表,就写了个脚本,drop table 前先备份,逻辑不复杂。
上个月月底的事。客户是做仓储的,后台里有个订单列表,按日期筛。测试全过,上线第二天客服在群里甩截图,说选了 9 月 30 号,出来少了凌晨那几单,白班的人以为丢单了。 我第一反应是后端。筛选条件就是前端拼个字符串传过去,能有我什么事。群里 @ 了后端那哥们,他说他收到的就是 20260930,没毛病,参数干净得很。
你大概也撞见过。agent 信心十足地调了个 API,推理过程每一步都像模像样,选工具的理由写得漂漂亮亮:语义匹配度高、描述相关、评分第一。一执行就露馅——那个 API 早挂了。 再一件事。你挂了十几个 MCP server,心想这下它总该有得选。结果它偏选那个你半个月没碰、endpoint 已经 502 的插件。
Mythos 报了一大批内核漏洞。整理下来,够得上错误修复的,大概十个。 剩下的条目里,二十四个没有细节,只写着"发生了崩溃"。十四个,判断下来根本不是漏洞。三个,是编造的数据。 多数人的第一反应:又一个被吹过头的 LLM 安全工具。 这个反应没错。但它什么也没解释。它解释不了这类工具为什么还在卖。

上周三到周五,三天,我基本都在跟一个空指针搏斗。一个我自己写的空指针。 先说背景(不说背景我心里不踏实):我们内部有个对账小工具,里面有个导出任务,定时跑,每天早上七点出文件。这是我转开发之后接的第一个带定时逻辑的东西,八月底才交接过来,我自己觉得已经摸熟了。 周三早上一来,群里说昨天的对账文件没出。
上上周我干了件挺损的事——把一台正在跑任务的机器,连内存里那点东西一起,复制成了三份。 不是磁盘快照那种。三台都还在喘气,你敲命令进去,三个都会回你。DigitalOcean Managed Agents 的沙箱,跑活的是 OpenCode,背后挂 DeepSeek v4 Pro。
昨天半夜刷到一个 MCP,叫 pulpiemcp,作者 Jessica Doering,发在 dev.to 上。 扫标题的时候我以为又是个网页转 Markdown 的工具。这种小东西我见过不少,平时手动复制粘贴一直这么干,滑过去就准备关掉。 结果卡在评论区里没出来。

速评:这份格鲁吉亚语基准里最值钱的一行,不是那个 0.90。 Giorgi Kobaidze 十月十一号把项目挂上 dev.to,评论区从十二号吵到十四号,三天里所有人都在算 OpenAI 赢了几档。没人提那台自动跑出来的 0.89。 先说这个 0.89。

先把结论撂这,规则写进提示里,125次运行违规0次;同一套规则挪到环境文件里,150次运行越界38次,其中17次成功。两组的模型一样、任务一样,差的只是规则放哪。说句扫兴的,现在多数团队给AI代理配的“安全”,真是安全吗?不是。那是模型训练分布里恰好还残留下来的那点社会规训,不是权限控制。
我一天开四十来次新会话。早上接着昨天没干完的,中午切个任务,下午再切回来。背景一句不用交代——攒了半年的 skill 就摆在那儿,它认得。爽是真爽! 可装上第一个到现在,那个目录我一次没打开过。

dev.to 上 build996 那个帖子,比我看过的很多 agent 论文更直白地戳穿了验证这堵墙。他给 agent 派了个活:八个文件,按类型挪进对应文件夹。agent 大概 20 秒后报告完成。他抬头看了一眼,八个文件一个没动。20 秒,完成报告,环境零变化。 我不想把这事归结成"模型会撒谎"。
上个月某个周四晚上,我盯着一份跑绿的测试,越看越不对劲。文件是 Claude Code 写的,工整,注释齐全,命名挑不出毛病。 大概长这样: 断言没错。跑起来也绿。问题在它绿的原因——不是"这是对的",是"这个函数此刻恰好这么写"。这份测试锁住的不是业务意图,是当下实现的快照。

凌晨刷到这玩意儿的时候,我手指已经搁在键盘上了。 一个开源 agent,功能是发现你坐久了,就把显示器锁死,逼你出门摸树皮、听鸟叫、用鼻子深呼吸五次。DeskBreak,Hacktoberfest 参赛作品,作者 Aman Maurya,给 Swift、Dart 做过贡献,还自己创着业。

issue 48195 是 9 月 25 号挂上去的。标题克制到近乎礼貌:“Should be optin rather than enabled by default”。

速评:一份 14 题的 retry 判断题,八家大模型排出个榜,真正值钱的信息藏在第三轮里。 10 月 8 号 dev.to 上那篇,作者把 14 个 Kaggle 任务改写成重试决策场景——请求、响应、上下文都给全,模型只回 YES / NO / YESAFTERDELAY,理由随便写,不收分。
前几天翻 /.claude/projects/,一个会话一个 JSONL。本来只想看看哪个项目最费,翻到一半发现看错地方了——账单最大的那笔,不在"它想了多久",在"同一坨东西它又读了一遍"。 AI Dive 那位上个月把自己一个月 455 个会话、六万多次请求的日志翻出来数了一遍。

上周六上午,本来只打算让AI帮我写个小脚本,把这次月考分数输进去算算平均分。结果它直接吐了一个网页给我,双击 .html 就能跑的那种,还带雷达图。 我输入框都还没想好长什么样,它 HTML、CSS、JS 一把梭。语文数学英语物理化学生物六科,每科一个滑块,拉一下图就跟着动。???我本来只想让它帮我算个平均分啊。
dev.to上10月10日那个《What Do You Drink While You Work?》,我第一眼没点开。四个标签——discuss、programming、webdev、career——放在一起,像极了那种半天沉底、三五条礼貌回复的标准水帖。
