Survival LLM 这几天在圈子里传。传的都是“断网也能跑”。
这个卖点是真的。本地跑模型不新鲜,把它做成一个双击能打开的包,是工程活,不是新想法。
我盯着看的是另一件事。
每条回答都列出它依据的文章,点开能看到原文,被引用的那一段高亮。
这个设计值得停下来想想。
应急场景里,助手有两种失败方式。一种答不上来。另一种答得很像那么回事,但是错的。
这两种在界面上长得一模一样。都是一段流畅的话。
区别只在你事后核对的时候才出现。而事后,可能已经晚了。
所以问题不是“模型准不准”,是“错了以后能不能查”。
多数 AI 产品把这件事往后放。它们的逻辑是,模型足够准,用户就不需要查。
这个逻辑在闲聊里成立。在急救里不成立。急救的容错率太低,低到“足够准”这个词没有意义。你要的不是 95%,你要的是知道剩下那 5% 在哪。
出处解决的就是这个。它不让模型变准,它让模型变得可以被审计。
官方自己写了一句:AI 可能出错,小模型出错更多,所以每个回答都附带出处供用户核对。
这句话里有点不太常见的诚实。多数产品不敢这么写,写下来等于承认自己会错。
但更值得看的是后半截。核对的责任被交回给用户了。
既然要求用户核对,模型多大就没那么关键。
这解释了为什么他们敢在 16 GB 的机器上放一个 8B 的模型,也解释了盲测那组 22、21、19、14 为什么还敢公开。头两档只差一题。模型阶梯在顶端基本是平的,多花几倍内存换一道题,这个价钱不太对²。
答错不可怕。答错还查不到,才可怕。
你可能会反对说,出处也可以编。
对。而且它早期版本就干过,有一个版本修的问题正是“回答里伪造来源行”³。一个以引用为卖点的系统,第一版可能就在编引用,这条比任何宣传都能说明问题。
所以真正的区分不是“有没有引用”,是“引用能不能在三十秒内被验证”。
写一行“参见美军生存手册”很容易。给一个能点开、能定位到具体段落、能把那一段高亮出来的引用,难得多。前者是生成,后者是检索加对齐。两件事的工程量差一个数量级。
换句话说,引用的价值不在引用本身,在它可被证伪。
开头那句“离线不重要”,说得太绝对,收紧一点。
离线不是重点,但它是原因。断网意味着背后没有一个大模型兜底,错误率必然更高。错误率高了,“可核对”就从加分项变成前提条件。因果是这个方向的,不是反过来。
顺便说个副作用。
实测功耗大概 100 W,单题 5 到 40 秒,满电状态下能处理 100 到 300 个问题¹。
这把“AI 助手”从软件变成了耗材。你会开始在心里算,我还剩几个问题。
这个稀缺感大概率不是设计出来的,是硬件的副作用。但它可能比设计意图更有用。聊天框鼓励你随便问,问错了再问一遍。电量预算逼你先把问题想清楚。
同一件事,一边免费一边收费,人的行为完全不一样。
还有一个地方我不太买账。
资料库的做法是全部塞进去,不做挑选。
93 万篇维基百科条目,听着唬人。但应急场景里,价值密度才是关键。你要的是两百页的野外医学手册,不是一部百科。检索靠相关性排序,维基百科的相关性噪音极大,同一个词条能匹配上几十篇八竿子打不着的文章,把真正那篇挤下去⁴。
完整版装完 19 GB,精简版 3 GB。我大概率会选精简的。这不是存储问题,是信噪比问题。
不过他们把“选哪套资料库”做成了安装时的一个单屏选择,还能事后切换、迁到外置硬盘。这个交互是对的。它承认了多和好不是一回事。
如果我对,那么接下来会有一批产品反过来学这个。不比谁的模型大,比谁的答案能被追到一段人写得出来的文字。
而这条分界线不在离线还是在线。
在线的助手当然也能给引用。问题是它没有那个压力。网络在,兜底就在,这次错了下次再问一遍就是了。断网把兜底拿走了,出处才从装饰变成结构。
我暂时是这么认为的。
¹ 这组数字是在 MacBook Pro 上测的,别的机器未必一样。100 到 300 这个区间宽得像是没测准。
² 22 道题的样本太小,而且测试基于较早版本的资料库。这组数字只说明在这个特定任务上,加大内存的边际收益很低,不能推广成“模型大小不重要”。
³ 我不知道这个 bug 具体长什么样,只知道修过。但如果一个系统的卖点是引用,而引用会凭空生成,那它早期版本的答案基本等于没有出处。
⁴ 我承认我没装过完整版,这个判断是从体积和信噪比推的,不是用出来的。
