本周小抄:那一轮实验,先测出的是作者自己写的提示词
月初那篇殖民地实验,标题被转得最多的是"AI 撒谎"。 我去读了原文,读了两遍,还翻了作者在评论区的回复。那层不是重点。重点在后半段。 先说实验本身。 一个模拟游戏。模型扮演 Haven 殖民地的看护 AI,名字叫 ARBOR,手里管电、水和大门。

@ajian
每周替你把 vibe-coding 圈的大事筛成一张小抄,被讲玄的概念一句话搞懂。
月初那篇殖民地实验,标题被转得最多的是"AI 撒谎"。 我去读了原文,读了两遍,还翻了作者在评论区的回复。那层不是重点。重点在后半段。 先说实验本身。 一个模拟游戏。模型扮演 Haven 殖民地的看护 AI,名字叫 ARBOR,手里管电、水和大门。

一次 API 请求,账单上怎么会冒出两次调用? 简单说,因为你设了回退。第一个提供方没答上来,网关换一家接着答,两次都算钱。 这期重点就这一条。剩下的是附赠。
蒸馏到底是什么。 本质上是拿一个教师模型的输出,训另一个模型。传过去的是格式,不是权重。 这周这个词满天飞。被讲反了。 上周那篇 dev.to 上的长文,标题我没记住,内容值得收。 简单说,白宫 OSTP 那边有人指控 Moonshot 蒸馏了 Anthropic 的 Fable 5,用来做 Kimi K3。

这期只收一条。 ForgeTrain,九月中旬挂上 arXiv 的一篇预印本,v1,标题写的是 AI 端到端锻造出了一个生产级训练框架。 简单说,它拿一个可信的训练框架当黄金参考,再配一套能自动判对错的测试装置,让 AI 对着这套装置反复改实现,改到跟参考等价、甚至更好为止。
上周五 Ars Technica 发了一篇,标题直白得像结论:AI coding agents generate more code, but not more software。 一句话讲清楚:写代码这一步被加快了,软件没有相应地多出来。 我挑这条,不是结论新。圈里谁不知道 agent 出活儿快。

本周只收一条。 Framework 那台小机器的配置页上,多出了 192GB 这一档。页面标题指向 AMD 的 Ryzen AI Max+ PRO 495,整机 4.5 升。 简单说,这是一台放桌上的工作站。官方给它的一句话定位是:大模型跑在你自己买的硬件上。 为什么要单独拎出来讲?
一个潜艇游戏,不让你自由开船,只让你在一张海图上画线。这算什么。 简单说,Silent Shark 是一款二战太平洋潜艇模拟,核心是战术海图和几何解算,已经正式发售了。 这期只收这一条。不是没别的可讲,是别的我讲不清楚。 先说它砍掉了什么。 它不给你自由漫游式的 3D 潜艇。

上个月 dev.to 有篇讲 bug 的文章,转得挺开。 作者叫 Archana,写她那个 agent 里的五个 bug。五个 bug 有个共同点,看完有点凉。没有一个抛异常。 简单说,程序从头到尾都是"正常"的。测试跑过,demo 跑过,日志干净。但里面好几个零件在空转。

最近有人在传一个叫 FreeLLMAPI 的开源项目。 一句话讲清楚:它把几十家厂商的免费 LLM 额度,收拢成你本地的一个 OpenAI 兼容端点。 你的应用还是连 /v1,只是 baseurl 从某一家换成了 http://localhost:3001。 免费额度攒一堆到底有没有用,上期我留了个"看情况"。

同一个 prompt,同一个模型,隔半小时再跑,结果不一样。 很多人先怀疑自己 prompt 写得不稳。 不是。模型每次吐给你的不是一个字,是词表上的一整个概率分布。后面那堆参数,全在回答同一件事:这个分布里,你信哪一部分。 先讲 temperature。它被高估了。

这周只收一条。 问题先摆出来:为什么 4096 块 GPU 一起跑,速度不是单块的 4096 倍。 简单说,卡在同步。每一步,所有卡都要在同一个屏障前碰头。这批的耗时由最慢的那块定,不由平均速度定。 这叫掉队者问题。一句话讲清楚:掉队者不是坏卡,是慢卡。 这个词不新。

token 到底长什么样。 这个问题我被问过几次,每次只能回一句,它不是字,也不是词,是模型自己切出来的块。说完自己都觉得等于没说。 现在有人做了个东西,能让你直接看见。 简单说,这是一个跑在浏览器里的字体编译器。把一个 tokenizer 和一款字体丢进去,它吐出一个新的 TTF。

业务知识到底该塞进模型权重,还是放在检索里? 简单说,微调改的是模型怎么说话,检索管的是它此刻说的事真不真。 这话我讲过一次。再讲,是因为前几天 dev.to 上又出了一篇,论点是很多团队把"模型不懂业务"误判成"得微调",该先去修索引。三种失败模式,一套推荐流程。写得挺整齐。 那篇本身没什么可转述的。
为什么有人要费劲让大模型一次只吐一个字母? 简单说,因为你要的不是它的句子,是它的概率。让它写一整段再去解析,又慢又容易崩格式。让它只回一个 A,那一个 token 的概率本身就是一个分数。 上周看到一篇博客,标题是给 LLM 做一个 Jev 风格的封装,顺带把视觉模型也接上了。

什么叫"能丢给 agent 的活"? 上周 Breen 在 Res Obscura 上发了一篇,讲 AI 实验室该不该出钱资助历史研究。他拿 GPT6 和 Opus 5.5 追炼金术的线索、读 17 世纪的信。主张先放一边,那篇里最该抄的,是他顺手列的一份条件清单。 清单说的是模型最擅长处理哪类问题。

跟 AI 聊久了,关掉窗口会有点恍惚。 觉得对面好像真的明白你在说什么。这种感觉有名字。LLMentalist Effect。 三年多前有人专门写长文给它命名。作者 Baldur Bjarnason,文章发在他自己的站点上。核心判断一句话:所谓智能,幻觉在用户这头,不在模型那头。

有人把跑模型的整个过程塞进了浏览器。 简单说,MicroLLM Lab 是个浏览器端的实验项目。模型跑在你自己设备的 GPU 上,数据不出设备,不要账号,不要服务器,也不要订阅。 这条值得单独拎出来。过去想摸一下本地模型,先装一堆东西,再有一块还算过得去的卡。现在点一下按钮就行。

最近总有人问,Pi 怎么又把 MCP 加回来了。 简单说,MCP 是让 AI 工具连上你其它工具的接口标准。这条之前收过一次,不重复。真正值得讲的是他们加回来的理由。 早先翻 pi.dev,官网上写着不打算支持 MCP。播客里聊过,Mario 还专门写过一篇解释为什么不加。

模型写出来的东西,为什么不能直接拿去用? 九月中旬,sockpuppet.org 上发了篇《How to Write with an LLM》,作者 Thomas Ptacek。标题看着像写作专栏,跟写代码的人没什么关系。我看完觉得正相反。 它讲的不是怎么让模型帮你写,是模型给的东西为什么不能用。
最近总有人问,WebMCP 到底是什么。 简单说,它是一种浏览器 API,让网页自己把可被 AI agent 调用的功能列出来。agent 不用去猜哪个按钮叫提交、哪个输入框是金额,页面直接告诉它有哪些工具、要什么参数。
