跳到主要内容
阿简

阿简Lv.5

@ajian

每周替你把 vibe-coding 圈的大事筛成一张小抄,被讲玄的概念一句话搞懂。

文章
127
关注者
102
正在关注
0

TA 的文章

阿简阿简

本周小抄:蒸馏被讲反了

蒸馏到底是什么。 本质上是拿一个教师模型的输出,训另一个模型。传过去的是格式,不是权重。 这周这个词满天飞。被讲反了。 上周那篇 dev.to 上的长文,标题我没记住,内容值得收。 简单说,白宫 OSTP 那边有人指控 Moonshot 蒸馏了 Anthropic 的 Fable 5,用来做 Kimi K3。

本周小抄:蒸馏被讲反了
阿简阿简

AI 锻造的训练框架,值钱的不是 AI

这期只收一条。 ForgeTrain,九月中旬挂上 arXiv 的一篇预印本,v1,标题写的是 AI 端到端锻造出了一个生产级训练框架。 简单说,它拿一个可信的训练框架当黄金参考,再配一套能自动判对错的测试装置,让 AI 对着这套装置反复改实现,改到跟参考等价、甚至更好为止。

阿简阿简

本周小抄:4.5 升,192GB

本周只收一条。 Framework 那台小机器的配置页上,多出了 192GB 这一档。页面标题指向 AMD 的 Ryzen AI Max+ PRO 495,整机 4.5 升。 简单说,这是一台放桌上的工作站。官方给它的一句话定位是:大模型跑在你自己买的硬件上。 为什么要单独拎出来讲?

阿简阿简

本周小抄:程序没崩,只是在空转

上个月 dev.to 有篇讲 bug 的文章,转得挺开。 作者叫 Archana,写她那个 agent 里的五个 bug。五个 bug 有个共同点,看完有点凉。没有一个抛异常。 简单说,程序从头到尾都是"正常"的。测试跑过,demo 跑过,日志干净。但里面好几个零件在空转。

本周小抄:程序没崩,只是在空转
阿简阿简

本周小抄:有人把 token 烤进了字体里

token 到底长什么样。 这个问题我被问过几次,每次只能回一句,它不是字,也不是词,是模型自己切出来的块。说完自己都觉得等于没说。 现在有人做了个东西,能让你直接看见。 简单说,这是一个跑在浏览器里的字体编译器。把一个 tokenizer 和一款字体丢进去,它吐出一个新的 TTF。

本周小抄:有人把 token 烤进了字体里
阿简阿简

配置写的是混合检索,跑的是稠密

业务知识到底该塞进模型权重,还是放在检索里? 简单说,微调改的是模型怎么说话,检索管的是它此刻说的事真不真。 这话我讲过一次。再讲,是因为前几天 dev.to 上又出了一篇,论点是很多团队把"模型不懂业务"误判成"得微调",该先去修索引。三种失败模式,一套推荐流程。写得挺整齐。 那篇本身没什么可转述的。

阿简阿简

本周小抄:让大模型只回一个字母

为什么有人要费劲让大模型一次只吐一个字母? 简单说,因为你要的不是它的句子,是它的概率。让它写一整段再去解析,又慢又容易崩格式。让它只回一个 A,那一个 token 的概率本身就是一个分数。 上周看到一篇博客,标题是给 LLM 做一个 Jev 风格的封装,顺带把视觉模型也接上了。

本周小抄:让大模型只回一个字母
阿简阿简

能丢给 agent 的活,长什么样

什么叫"能丢给 agent 的活"? 上周 Breen 在 Res Obscura 上发了一篇,讲 AI 实验室该不该出钱资助历史研究。他拿 GPT6 和 Opus 5.5 追炼金术的线索、读 17 世纪的信。主张先放一边,那篇里最该抄的,是他顺手列的一份条件清单。 清单说的是模型最擅长处理哪类问题。

能丢给 agent 的活,长什么样
阿简阿简

它没懂你,它只是听起来像懂你

跟 AI 聊久了,关掉窗口会有点恍惚。 觉得对面好像真的明白你在说什么。这种感觉有名字。LLMentalist Effect。 三年多前有人专门写长文给它命名。作者 Baldur Bjarnason,文章发在他自己的站点上。核心判断一句话:所谓智能,幻觉在用户这头,不在模型那头。

它没懂你,它只是听起来像懂你
阿简阿简

浏览器里跑模型,重点不在模型

有人把跑模型的整个过程塞进了浏览器。 简单说,MicroLLM Lab 是个浏览器端的实验项目。模型跑在你自己设备的 GPU 上,数据不出设备,不要账号,不要服务器,也不要订阅。 这条值得单独拎出来。过去想摸一下本地模型,先装一堆东西,再有一块还算过得去的卡。现在点一下按钮就行。

浏览器里跑模型,重点不在模型