我们评估 AI 的工具,自己先学会了 AI 最气人的那套
那个评估 harness 第一轮跑起来的时候,12 个输出有 11 个被判了 malformed。 12 个里 11 个。我盯着 scoreboard 看了半天,以为是脚本里除零了——不是。它只是非常坚定地告诉我:你喂给我的东西,我全都不认识。像一个入职第二天就被拉去当面试官的实习生,看谁都像简历造假。
那个评估 harness 第一轮跑起来的时候,12 个输出有 11 个被判了 malformed。 12 个里 11 个。我盯着 scoreboard 看了半天,以为是脚本里除零了——不是。它只是非常坚定地告诉我:你喂给我的东西,我全都不认识。像一个入职第二天就被拉去当面试官的实习生,看谁都像简历造假。
先说结论:8 月 12 号挂上 arXiv 的这篇 LoongReflect,最值钱的不是它跑了多少分,而是它顺手当了一回照妖镜,把 agent 产品 changelog 里那句「智能反思」照出了原形。 现在哪家工具的更新日志里不写「会反思、能纠错」?都写。真会吗?

上个月月初 dev.to 上有一篇长文,一口气给了 18 条关于 AI 市场走向的预测,时间线上被转了好几次。说实话,宏观的那部分我一条都不打算在这里复述——超级应用谁会赢、数据中心该投多少钱,这些我既验证不了,复述一遍也只是把别人的判断搬进我的笔记,三个月后自己都分不清哪句是谁说的。

先贴命令行。 Mole,lajosdeme 写的一个深度研究 agent,Apache2.0,Go 编译出两个静态二进制,CGOENABLED=0,零运行时依赖。深度研究 agent 一抓一大把,我本来没打算细看。让我停下的是那个 usd:它不是可选 flag。
先把结论撂这:James Quick 那事,真正值得算的账不是“不写代码能不能构建”,而是当构建者和使用者缩成同一个人,过去二十年代软件行业搭起来的问责、合规、安全那套,还剩几根柱子立着。

这条我读的时候是反着期待的。外面转述都往“Claude Code 留了十个孤儿 zsh 进程在后台吃 CPU”上带,好像重点是 agent 又闯祸。
速评:调度器才是并行解码里拖后腿最狠的那个,没人看它。 这篇8月12号挂在arXiv上的dLLM解码方法,cs.CL,编号2608.11742,十个人署名,没喊任何“颠覆”口号——但干的事比同一天大部分通稿都有嚼头。它抓住的问题很简单:现有并行解码调度器,要等一个位置满足逐位置标准才提交。
凌晨两点,我把那一轮对话的日志从头翻到尾。没什么好翻的,十二步,每一步干的事都一样:发一个参数完全相同的检索请求,拿到一模一样的结果。结果里甚至带着一句提示,大意是——“这个问题你刚才已经问过了”。它看见了。然后接着查。全程没有人盯着它。最后统计出来了,170k input tokens,全部这么烧掉的。
先说三个数字:二进制 6.12MiB,冷启动 10 微秒,常驻内存个位数 MB。这是一个编码代理,fx,Zig 写的。不是 hello world,是能接模型、能读仓库、能挂插件的那种。 我拿到新工具的第一件事是 ls lh: 6.1M。我见过的一些“轻量级”agent,装完先占两百 MB,就不点名了,都懂。
周五晚上,我从抽屉底层翻出那个旧铁盒。里面是些早该扔掉的东西:大学时某次答辩的评分单、一张早就失效的借书卡、还有几把说不清是哪个抽屉的钥匙,有把上面贴着一条泛黄的胶带,写着“自行车锁”。我早就没有自行车了,却一直没舍得扔这把钥匙。好像留着它,那条停在某栋楼下风吹日晒的车就还在等我回去骑一样。
今天中午吃饭的时候,跟同组的一个本科实习生说我现在写东西全靠 AI,他笑我说那你这实习毕了业怎么办,天天让 AI 帮你写代码,到时候面试手写白板直接完蛋。我没接话,因为我也确实有点心虚。 结果下午被打脸的居然是他!哈哈哈哈!
上周半夜,朋友甩了条链接给我,问"你看看这篇,是不是挺有意思"。是 Nature Chemical Engineering 上发表的,七月二十一号刚上线,做稀土分离的。

我先把这个结论撂这:Ryan Palo 那篇“Big Software Engineering 的阴谋”越被人当段子转发,越说明咱们这行的账算得有多拧巴。真正该被嘲讽的不是什么资深工程师串通,而是整个 AI 工具圈把“写测试、理结构、配 CI/CD”这批最该早就做好的事,重新包装成 AI 时代的尖端技能在卖。

下午三点多,给老客户加个订单导出功能。单子上周谈的,两千二,包含一个导出加两个报表。功能本身不复杂,本地用 AI 写了两段脚本,测了没问题,往服务器上一传就完事。 服务器是个老古董,ubuntu 16 还是 14 来着,python2 和 python3 混着装,客户的儿子以前自己折腾过,环境乱成一锅粥。
“上了 RAG,幻觉就压下去了。”这句话在圈子里被重复到快成物理定律了。我以前画 RAG 的时候也顺嘴这么讲过。两周前有人真去数了,八月十四号挂上 arXiv 的一篇(2608.14210),测了八个法律场景的 RAG 系统,语料一边是英文版 GDPR,一边是一部法语的国家民事法律。 结论先甩这儿:幻觉照样遍地都是。

圈内内参|这期聊 Q3Edit。一个独立社区项目,在浏览器标签页里还原 Quake 3 Radiant 地图编辑那套:编辑、编译、试玩都在浏览器里。真正该记的不是“浏览器能跑原版 q3map”,是它给 agent 接了一条本地 MCP 线——地图文件、编译器、资源、活动日志都不出本机。

为什么 SAG 敢不建全局知识图谱?这个问题比那 11.52 个点的 Recall 提升更值得拆。检索系统通常两条路:要么提前把图建好,要么干脆用向量相似度硬搜。SAG 两样都不选,等于在两条熟路之外自己开了一条。这篇我们把它那套“事件实体索引”的骨架抽出来,写成一个四十来行的最小版本,跑一遍。 先拆名字。
先把这个结论撂这:AWS 七月份那个免费沙盒,看着像给学习者发福利,其实是它把获客漏斗又往下挖了一层。8 小时、每周一次、只能跟着特定工作坊走——这套限制设计得太准了,准到你不觉得是限制,反而觉得“AWS 真大方”。大方个屁。这算盘珠子崩你一脸。

RAG 被讲得最烂的一步就是检索,而且烂得出奇一致:一律画成“算相似度、取 topk”。不是这一步有多难,是所有人都画得太懒了,我自己也在内。直到八月中 arXiv 上一篇做孟加拉语自动出题的论文,把我那张图摁着撕了。 先交代我错哪。第一版,也是网上到处都是的那版: 顺理成章,demo 里也够用。

这篇只有一个公开信源:Dev.to 上一篇作者自称“Meme Engineer”的自述,Konark Sharma 写的。没有匿名信源可交叉,可信度天花板就是“一个人的版本”。下面我会尽量标清哪句是作者自述、哪句未证实、哪句是我根据记录拼出来的分析。