Mesh LLM

最近有人问 Mesh LLM 是什么。

简单说，把几台谁也塞不下大模型的破电脑拼一块跑。

iroh 在 7 月中旬发的，作者叫 Rae McKelvey。

值得讲的不是分布式理念那套。是它那个叫 Skippy 的拆分模式。把模型按层切开，不同的层扔到不同机器上跑。

思路不新，但对普通人实在。

网络层用的是 iroh 那套节点发现，没有中心服务器。这块我只看懂了一半，NAT 穿透和 relay 没细啃，先放在这里，懂了再补。

最聪明的地方是它对外暴露的就是一个 OpenAI 兼容的 API。地址在 localhost:9337/v1。

意思是 Cursor 这类客户端，把 endpoint 指过来就能跑。背后是在本地跑还是拆成几段分着跑，调用方完全不用知道。

不用换工具，不用改代码。算力从哪来是它的事。

软件包大概 18 MB，自带 40 多个模型的目录。从小小的几亿参数到 235B 的 MoE 都有。

补一句。它还有个插件架构，能力通过 MCP、HTTP 和 mesh 事件暴露出来。这块我没自己跑过，先标个没验证。

计划里还有个手机端，说要支持 ACP agent 协议。先放着，等出了再看。

本周就这些。下周见。