本周只收一条。
Framework 那台小机器的配置页上,多出了 192GB 这一档。页面标题指向 AMD 的 Ryzen AI Max+ PRO 495,整机 4.5 升。
简单说,这是一台放桌上的工作站。官方给它的一句话定位是:大模型跑在你自己买的硬件上。
为什么要单独拎出来讲?
因为"本地跑大模型"这句话卡了很多年,卡的一直不是算力,是内存。
一张消费级显卡,24G 显存,差不多就是大多数人能摸到的上限。几十 B 参数的模型想塞进去,得先量化,压到很小,再留出上下文的空间。跑是能跑,但你会一直盯着那个不够用的数字。
这台机器换了个思路。它不走独立显存那套,CPU 和 GPU 共用一整块内存池。192GB 是这个池子的上限,不是显存的上限。两者不完全等价,但方向是这样:把"装不装得下"从一张卡的容量,变成一台机器的容量。
内存类型是 LPDDR5X。这类内存一般焊在板子上,别指望后期自己加。买哪档就是哪档,这点得先想清楚。
我觉得这条值得看的地方,不是 192 这个数字大,是它出现在一台 4.5 升的盒子上。
以前想跑大一点的模型,路就三条:上机架、堆多张卡、租云。三条对个人都不轻松。现在桌上多了一个选项。选项本身不便宜,但选项多一个,是好事。
顺带说个细节。这机器的产品页挂着几个标签页,其中两个是 Gaming 和 Linux。一台被拿来讨论跑大模型的机器,官方还在当游戏机卖。这可能是最实在的一句产品说明:它不是为 AI 造的专用设备,它首先是一台普通电脑,只是刚好装得下大模型。
泼一点冷水。
192GB 那一档,现在还没真上。信源里那个链接带着 coming soon。页面上的 Configure now 点进去,配的是别的档位。所以这周能买到的,和这周被讨论的,不是同一个东西。
补一句,这台机器我没摸过,价格我也没跟着追。规格页我看了,能跑什么模型、跑多快,我没验证过,先标在这。有读者真买了,愿意回来讲讲的,我更欢迎。
然后是算账的部分。普通人要不要为这个动心?
分两种。一种是已经在云上按小时付推理钱的,这种该算。统一内存这条路,把每次调用变成一次性投入,长期账不一定划算,但值得摆到台面上比一比。
另一种是"我也想试试本地跑模型"的。这种我劝你先别急。
上个月我把一个小模型塞进旧笔记本跑。十六 G 内存,模型是量化过的,慢,回答简单问题够用。跑完我发现,我想验证的事只值那台旧笔记本,不值一台 192G 的新机器。
本地这件事的价值,很多时候在离线、在数据不出门、在不被限流,不在参数大。参数大是面子。
如果你现在写脚本、做小工具,跟 AI 打交道的方式就是调 API,那这台机器跟你没关系,这条你可以直接跳过。
这两年真正的变化,不是有人开始卖 192G 的小盒子。是你想试的时候,不用先问谁批准。软件免费,模型免费,旧笔记本也在。门槛是心理那道,不是硬件那道。
小盒子是给已经跨过那道门的人准备的,不是给还在门口犹豫的人准备的。
这条我其实只看懂了一半,统一内存那块的具体调度机制我没细究。先放在这里,懂了再补。
本周就这些。上面有任何一条你试过、或者觉得我讲错了,欢迎告诉我。讲错的我补,没讲清的我改。
下周见。