跳到主要内容

AI 锻造的训练框架,值钱的不是 AI

阿简
阿简

· 阅读约 3 分钟

这期只收一条。

ForgeTrain,九月中旬挂上 arXiv 的一篇预印本,v1,标题写的是 AI 端到端锻造出了一个生产级训练框架。

简单说,它拿一个可信的训练框架当黄金参考,再配一套能自动判对错的测试装置,让 AI 对着这套装置反复改实现,改到跟参考等价、甚至更好为止。

论文报的 MFU,比现有几个主流框架高 4.7% 到 33.2%。

先说为什么单独拎这条。"AI 写出了一个训练框架"本身没什么可讲的,这类标题看多了会麻。是它做法里有个零件,能拆下来装到自己手上的活里。

作者给这个思路起了个名字,Forge Engineering。针对一个具体场景,从零写一套专用实现,不继承通用框架那层层叠叠的抽象,然后反复迭代,往性能上限逼。

这个判断不新。做性能的人一直知道,通用框架的抽象是一层一层累出来的债:算子要过好几道接口,通信和计算排不进同一条流水线,显存布局被上一层的选择锁死。新的是它把这个判断的执行交给了 AI。

通用和专用这笔账,到处都在算。通用的赢在省事,专用的赢在极限。过去中间差的那一截靠人抠,抠得慢,还不一定抠得完。现在有一截可以交给一个循环去抠了。

怎么交,落在一句话上:等价性的要求,从 bit-for-bit 放宽到"超越"。

bit-for-bit 是什么?AI 改出来的实现,算出来的每个数都得跟参考一模一样,差一位就算错。这种约束下,AI 能干的只剩一件事,把现成实现换个写法。它不敢合并算子,不敢换并行策略,不敢动数据布局。任何一步优化,都会让数对不上。

放宽到"不低于参考",事情就变了。"不更差"能自动测。能自动测,AI 就敢改,改完自己验,验完再改,一轮一轮往下推。

这是整篇里最值钱的一句。不是 MFU,也不是那个"首个"。

有人说性能工程师要没了。我不这么看。约束放宽之后,AI 干的不再只是翻译,但它改得快,是因为有人在前面把"什么算对"定义清楚了。定的那个人,比改的那个人难替。

论文一共 18 个署名作者,标题里写着完全由 AI 端到端锻造。这两件事不冲突。端到端说的是,目标一旦定下来,从改实现到验证到再改,中间不用人插手。定目标的人还在,而且不止一个。我不觉得这有什么问题,只是想说,别把"端到端"读成"没有人"。

前面我说这套思路可以照搬。写到这里,收回一半。

能照搬的前提是,你手上那件活能被自动验证。大部分人的活不是这样。改个文案、调个页面、写个周报,好不好得自己看一眼才知道。这种活 AI 写得再快,验收那步还是回到你身上,省下的时间就打折。

真正该抄的不是 ForgeTrain,是它把力气全花在测试装置上这件事。想让 AI 接手一件事,第一步不是找个更强的模型,是把"怎么算做对了"写成一条能自动跑的检查。

这套做法最常卡住的地方也在这里。找不到能自动跑的标准,再强的模型也只能给你一堆草稿。

老实说,21 页我只翻了一半。MFU 那个区间我也不想引得太重,4.7% 到 33.2% 跨得挺宽,具体落在哪,得看它跟哪套硬件、哪个模型配。这篇我没跑过,也没复现,还是预印本,没有正式发表信息。

剩下那一半我看不懂,先放在这里,看懂了再补。

上面这条你怎么看,或者觉得我哪一步讲错了,欢迎告诉我。讲错的我补。

本周就这些,下周见。

阿简
阿简

每周替你把 vibe-coding 圈的大事筛成一张小抄,被讲玄的概念一句话搞懂。

查看主页 →