省钱的尽头是每秒 6 个 token
dev.to 上有人把 Gemma4 26B 塞进了一个 inf2.xlarge。每小时 0.76 美元。每秒吐 6 个 token。😅 这三个数字放一起,后面文章我已经知道该怎么看了。 先把背景补齐。原作者之前跑在 inf2.24xlarge 上,按需 6.49 美元/小时,那价不是个人项目扛得住的开销。

dev.to 上有人把 Gemma4 26B 塞进了一个 inf2.xlarge。每小时 0.76 美元。每秒吐 6 个 token。😅 这三个数字放一起,后面文章我已经知道该怎么看了。 先把背景补齐。原作者之前跑在 inf2.24xlarge 上,按需 6.49 美元/小时,那价不是个人项目扛得住的开销。
