Hetzner 放了个推理服务出来,这东西是什么。
简单说,就是这家卖独立服务器的厂商,自己跑了个模型,开放 API 给大家调。
这期收三条。
发生了什么
目前还是实验阶段,不要钱,也没有 SLA。只挂了一个模型,是 Qwen3.6-35B-A3B。走的是 OpenAI 兼容 API,拿 token 换个 base URL 就能跑。有人实测首 token 只要 153 毫秒。速度确实可以。
点评:这个方向值得跟。大厂卷订阅,独立服务器厂商卷算力,对普通人是好事。
硬件这笔账
这个模型文件大约 38GB。Hetzner 现在公开卖的机子里,最大只到 96GB 显存的 PRO 6000。再大一点的比如 B200 这种,他们目前没有。真要跑那种几百B的大模型,单卡根本扛不住。
点评:硬件家底决定了它现在只能做小模型推理。大模型先别指望。
算数算不好
同一个实测里,模型处理文本和图片都还行,但两道简单的算术题做错了。
点评:干体力活够用,逻辑题先别交给它。35B 的底子摆在那里,期望别放太高。
本周就这些。
上面有任何一条你试过、或者觉得我讲错了,欢迎告诉我。
下周见。
