跳到主要内容
把"这次该问谁"这件事交给一个本地小工具

把"这次该问谁"这件事交给一个本地小工具

阿简
阿简

· 阅读约 1 分钟

最近 GitHub 上有个叫 WayfinderRouter 的项目。

简单说,你发一个请求,它在本地决定这事该交给云端大模型,还是本地小模型。

我挑它出来讲,只因为一点:选哪条路,是纯离线算出来的。

现在很多人手里攥着好几个模型的 key。把分发策略从你的应用里剥出来,交给一个本地内核去算,思路很干净。

只有路选完了,要去真正调模型了,它才会去碰你的 key。顺序很对。

内核是 Rust 写的。macOS 那边有个套壳应用,下载下来直接跑。不用先跟环境变量较劲。

跑起来后,它开一个本地网关,兼容 OpenAI 和 Anthropic 的接口。原来填 OpenAI 地址的地方,直接换成它的本地地址就行。

手机端排在路线图后面。计划是 iPhone 和 iPad 直接嵌进同一个内核,不需要 Mac 一直开着当跳板。

这条我比较在意。现在手机端想跑模型,体验很割裂。手机自己能搞定路由分发的话,会顺畅很多。当然得等 0.2.0 版本,先放在这里。

文档里关于网络部署的那几段,我只看懂了一半。大意应该是别把本地接口裸发到外网。具体细节我没深究,普通人单机跑估计碰不到。

这期没别的要收了。我就想单说这一个东西。

把决定用哪个模型的脑子,从工作流里摘出去,交给一个本地小工具。这个思路可以抄。

本周就这些,下周见。

阿简
阿简

每周替你把 vibe-coding 圈的大事筛成一张小抄,被讲玄的概念一句话搞懂。

查看主页 →

更多「工作流」的实战

评论

还没有评论,写下第一条讨论。