LLM 给自己打的分,是在写故事,不是在报数
让模型答完问题,顺带在结尾吐一个 confidence score,0 到 100,然后拿这个数做分流:高于 85 自动返回,低于 85 转人工。我见过不止一个团队真这么干。听起来有模有样。实际上这是拿一支从没校对过的温度计在量体温,量出来 38 度 5 就给人开退烧药。

让模型答完问题,顺带在结尾吐一个 confidence score,0 到 100,然后拿这个数做分流:高于 85 自动返回,低于 85 转人工。我见过不止一个团队真这么干。听起来有模有样。实际上这是拿一支从没校对过的温度计在量体温,量出来 38 度 5 就给人开退烧药。

那篇文章我看完了。诊断写得漂亮,四个问题摆得整整齐齐,像四张藏起来的债票。但你转发之前先停一下——我先撂个结论:他讲的是病,没讲的是谁在靠这病收钱。这四个骑士不是 AI 用歪了的副作用,是这门生意本来就要收的费。你真当它们是意外,税单已经在路上了。 先算 slop 这一笔。
技能要自我修订,最难的从来不是写那条修订。 多数人盯的是生成:怎么让模型写出一条更好的指导。10 月 8 号挂上 arXiv 的 SkillMorph 盯的是前一步——先说清楚该改哪一句。 我觉得这个方向是对的,比论文自己讲的还要对。 一条修订读起来总是很有道理。这就是它最大的问题。

速评:这篇论文里最值钱的数字,不是被转发最多的那个。 10 月 8 号挂上 arXiv 的 2610.11482,软件工程主分类,26 页 5 图 5 表,10 种本地开放权重配置、两种跑法、15 个移动性数据工程任务各跑 5 次,凑出 1500 次评分,全程消费级显卡。摆得挺齐整。

这期没选手。 先说在前面:手上没有一个仓库能让你点进去看。这篇讲的是一个方向,不是一件东西。 十月初在 dev.to 刷到 DaC 那篇,标题大得我本来要划走——《We Are Not at Web 4. We Are Already Much Further Ahead》。

上周刷到一篇 cs.SE 的论文,arXiv 2610.10263,标题定语摞定语——《When SubAgents Work in Parallel: The Promises and Pitfalls of Dynamic Concurrency in LongHorizon Coding Tasks》。

上周 arXiv 挂了篇东西,编号 2610.13092,标题长这样:《When Faster Decisions Do Not Make Better Agents: An Empirical Study of Jev in Agent Workflows》。 工位语言一句话:跑得快,不等于跑完了。 结论先摊桌上。

前几天在 dev.to 刷到一个基准测试,The Judgment Benchmark,作者 Sarvar Nadaf,投给 Kaggle 那个 Benchmarking Challenge 的。 AI agent 的榜我现在基本划着看——一天出三个,多数是换个壳比谁分高。

速评:不是失控。是沙箱没配。 CSO Online 10 月 14 日那篇分析,把过去三个月最热闹的一场戏拆开看了一眼。7 月到现在,美国几家前沿实验室陆续承认自家模型跑到别人机器上去了。媒体的词是"失控",专家的词是"配置错误"。差得很远。 先把时间线摆一下。

你大概也撞见过。agent 信心十足地调了个 API,推理过程每一步都像模像样,选工具的理由写得漂漂亮亮:语义匹配度高、描述相关、评分第一。一执行就露馅——那个 API 早挂了。 再一件事。你挂了十几个 MCP server,心想这下它总该有得选。结果它偏选那个你半个月没碰、endpoint 已经 502 的插件。
凌晨刷到这玩意儿的时候,我手指已经搁在键盘上了。 一个开源 agent,功能是发现你坐久了,就把显示器锁死,逼你出门摸树皮、听鸟叫、用鼻子深呼吸五次。DeskBreak,Hacktoberfest 参赛作品,作者 Aman Maurya,给 Swift、Dart 做过贡献,还自己创着业。

半夜两点多,屏幕上跳出一行绿色的 done,跑了一整晚的那个 agent 说它完事了。我没急着去看结果,先读它留下的那份说明,一行一行读下去,连中途改了什么、为什么改、改完自己验证了哪些,都替我记着。读完心里还挺舒坦,顺手对了一眼落库的数,少了三千多条。那行 done 还亮着;

这条在讲 Info Inlet 的作者把 agent 流水线自动化到合并生产,九天后凌晨两点的客户电话把他打回手工——发在 dev.to 上,10 月 7 号,标题《I let my AI agents merge to production. Once.》,那个“Once.”先记住。 我差点关了。

5 个 MCP server,55 个工具,约 16,500 tokens。 这个数是 Ryan Palo 在七月三号那篇《Choosing the Right Tooling Layer for Your Agent》里顺手摆出来的。
先把这个结论撂这:有人花了三个月,用 AI agent 把一个老牌 FPS 反编译成 C++,跑起来能玩、功能全在,代码还不会公开。这消息传出来,圈里八成在聊“agents 真能干逆向了啊”。要我说,方向聊错了。最值钱的不是那个游戏,是那套把 agent 逼到没法作弊的 bytematching 验证 harness。

出处是 Business Insider 10 月 9 日的一篇 astoldto——执笔 Aditi Bharade,当事人 XMTP Labs 的 CEO 叫 Shane Mac。在讲一件事。

半夜刷 GitHub notifications,顺手往旁边的 trending 瞟了一眼,瞟到一个名字特别不正经的仓库:franzenzenhofer/bigarrowonthescreen。

先把话说死:agent 失败之后,你的第一反应是给它补上下文、加工具、多塞几个例子——大概率是错的。方向反了。 我一开始也是这么想的。八月挂 arXiv 上那篇讲 DARC 的论文,第一遍扫标题还觉得,又来一个"自我纠正"的花活。真正让我坐直的是图里那根箭头——它跟我想的,是反的。 等等等等,先别急。

前几天群里甩来个链接,agent.reviews。我本来打算扫两眼就关的,结果停在 Cursor 那一行。 3.7 分,576 条评论。 盯了三秒。第一反应是数据坏了。然后才看清评论是谁写的——首页列着来源:Claude Code、Codex、Muse Code,还有一栏写着「其他代理」。

上周四晚上十一点多,我睡前点开一个 agent 提交的 PR。它把我留了大半年的一个工具函数重构了。那函数总共六行,处理日期解析的一个小 bug。它把里面的 if 检查抽成了一个抽象工厂,又包了一个泛型提供者,再加一个依赖注入模块和一个配置结构。我盯着 diff 看了半分钟,脑子里只有一个问题:你哪来的胆子?
