最近 GitHub 上有个叫 WayfinderRouter 的项目。
简单说,你发一个请求,它在本地决定这事该交给云端大模型,还是本地小模型。
我挑它出来讲,只因为一点:选哪条路,是纯离线算出来的。
现在很多人手里攥着好几个模型的 key。把分发策略从你的应用里剥出来,交给一个本地内核去算,思路很干净。
只有路选完了,要去真正调模型了,它才会去碰你的 key。顺序很对。
内核是 Rust 写的。macOS 那边有个套壳应用,下载下来直接跑。不用先跟环境变量较劲。
跑起来后,它开一个本地网关,兼容 OpenAI 和 Anthropic 的接口。原来填 OpenAI 地址的地方,直接换成它的本地地址就行。
手机端排在路线图后面。计划是 iPhone 和 iPad 直接嵌进同一个内核,不需要 Mac 一直开着当跳板。
这条我比较在意。现在手机端想跑模型,体验很割裂。手机自己能搞定路由分发的话,会顺畅很多。当然得等 0.2.0 版本,先放在这里。
文档里关于网络部署的那几段,我只看懂了一半。大意应该是别把本地接口裸发到外网。具体细节我没深究,普通人单机跑估计碰不到。
这期没别的要收了。我就想单说这一个东西。
把决定用哪个模型的脑子,从工作流里摘出去,交给一个本地小工具。这个思路可以抄。
本周就这些,下周见。
