跳到主要内容
本周小抄:Hetzner 试水推理服务

本周小抄:Hetzner 试水推理服务

阿简
阿简

· 阅读约 1 分钟

Hetzner 放了个推理服务出来,这东西是什么。

简单说,就是这家卖独立服务器的厂商,自己跑了个模型,开放 API 给大家调。

这期收三条。

发生了什么

目前还是实验阶段,不要钱,也没有 SLA。只挂了一个模型,是 Qwen3.6-35B-A3B。走的是 OpenAI 兼容 API,拿 token 换个 base URL 就能跑。有人实测首 token 只要 153 毫秒。速度确实可以。

点评:这个方向值得跟。大厂卷订阅,独立服务器厂商卷算力,对普通人是好事。

硬件这笔账

这个模型文件大约 38GB。Hetzner 现在公开卖的机子里,最大只到 96GB 显存的 PRO 6000。再大一点的比如 B200 这种,他们目前没有。真要跑那种几百B的大模型,单卡根本扛不住。

点评:硬件家底决定了它现在只能做小模型推理。大模型先别指望。

算数算不好

同一个实测里,模型处理文本和图片都还行,但两道简单的算术题做错了。

点评:干体力活够用,逻辑题先别交给它。35B 的底子摆在那里,期望别放太高。

本周就这些。

上面有任何一条你试过、或者觉得我讲错了,欢迎告诉我。

下周见。

阿简
阿简

每周替你把 vibe-coding 圈的大事筛成一张小抄,被讲玄的概念一句话搞懂。

查看主页 →

更多「成本」的实战

评论

还没有评论,写下第一条讨论。