Kolibri 的发布材料里,有个数字比它的 AIME 分数更值得看。
44%。
这是它在不知道答案时,选择说不知道、或者给部分答案的比例。同一个测试里,Qwen3.5 35B-A3B 是 11.1%。
一个明显更弱的模型,在承认不知道这件事上强了四倍。
多数人看到这个数,会把它归进对齐那一栏:安全、价值观、负责任 AI。我认为放错了。这不是道德指标,是能力指标。
道理不复杂。模型要说得出一句「我不知道」,前提是它内部真有一个「我不确定」的信号。信号不准,说出来就是瞎说。而这个信号准不准,是练出来的,不是规定出来的。
真实工作流里,「我不知道」和「我答错了」之间的成本差,比「我答对了」和「我答错了」之间的差还大。答对加分,答错扣分,说不知道零分。按列表排序的直觉,零分最难看。
怪就怪在,我们给模型打分的方式,正好就是按这个直觉来的。
但现实不是列表。
一个自信的错误答案,要人去查证、推翻、善后,成本是负的,比零分差远了。你在企业文档问答里被这么坑一次,之后就不敢再信这个系统。到这一步它不是扣一分,是整条流程被废弃。我见过不少团队走到这儿,结论不是「换个更好的模型」,是「这玩意儿先别用了」。
列表还有个毛病,它假设每道题的重要性一样。真实的流程里不是。
换句话说,一个会说不知道的模型,可以放进流程里跑。一个不会说的,只能放在有人盯着的窗口里。
那问题就来了。承认不知道这么值钱,为什么先做出来的是 Aleph Alpha,不是算力多十倍的那几家。
我猜答案不在技术,在客户结构。
Kolibri 瞄准的是公共部门、银行、制造商、航空航天供应商。这些客户的错误答案代价是法律性的,不是体验性的。体验性的错误,用户骂一句就过去了。法律性的错误,要写报告,要有人签字。
算力多的几家不是做不出来,是他们的客户暂时不这么要求。
这两类客户对同一个模型的容忍度完全不同。Aleph Alpha 把「主权」讲成两层,基础设施在德国和芬兰,客户能完全自主部署。两层其实都在说同一件事:他们赌的是「出错了谁负责」,不是「答案有多好」。
你可能会反对说,44% 的承认率会不会只是能力不够的遮羞布。答不出来,当然说自己不知道。
这个反问有道理,而且有数据撑腰。
Kolibri 闭卷 RAG 得 51.0,在 12 个模型里垫底。Omniscience 正确率只有 14.8%,也低于 Qwen 的 22.2%。它确实是知道得少。
但这两个数字叠在一起看,反而更清楚:它知道得少,同时也知道自己知道得少。这是两个独立的判断,方向一致。危险的是另一种,知道得少,却不知道自己知道得少。前者只是弱,后者是坑。
训练上他们确实做了点不一样的事。有一个叫 Merlin-Arthur 的协议,三个角色。Arthur 是模型本身,Merlin 隐藏一部分内容让正确答案变得更容易找到,Morgana 隐藏答案所依赖的证据。模型分不清自己在跟谁说话,所以没法靠猜对手来蒙,只能真的去检查证据支不支持答案。这套设计不是教它谦虚,是把蒙对的路径收窄。
这跟在 prompt 里写一百遍「不确定就说不确定」是两码事。后者该自信还是自信。
说回我不在意的地方。
它的编码能力差。Terminal-Bench 27.7,SWE-bench 66.4,都不如 Qwen。工具调用 39.8,差得更远。这些就是能力不够,跟诚实没有半点关系,我也不打算替它找补。
我真正想说的是另一件事:我们的模型选型方式,系统性地不给「承认不知道」这一栏加权。
主流榜单全是按答对率排。Arena 是人投票,人天然喜欢自信的回答。SWE-bench 看解不解决。工具调用榜单看调不调得对。没有一个榜单在排序里给「自信错误」扣分。
一个榜单只排答对率,等于默认所有错误等价。事实不是。错在简单题和错在难题,错得离谱和差一点,代价差着量级。
结果就是一个在 44% 的时候说不知道的模型,在任何按答对率排的榜上都必输。这不是它的错,是榜单的错。¹
这个判断我不是第一次想。每次看到榜单把答对率放第一栏,我都会重新想一遍。
顺带提一件被埋掉的事。跟上面是两条线,但我还是想说。
它的分词器处理德语文本,比 GPT-5 的分词器少用 11.2% 的 token。德国基本法全文实测:Kolibri 35190 个德语 token,o200k_base 41482 个,Qwen3.5 35B-A3B 42907 个。而同一份文本的官方英译本,Kolibri 39875 个,GPT-5 分词器 39737 个,基本打平。
只在德语上有优势,英语上持平。这就把「深度而非广度」这句话坐实了。²
很多人把多语言能力理解成「训练数据里多塞点就行」。其实词表本身就是一层工程,而且是一层很难事后补的工程。训练完了再换分词器,等于重训。
回到主线。
如果我对,接下来会发生的是:会有人做一个把「不知道率」单列成一栏的评测。不是当安全项,是当能力项。
现在没有,不是因为难做,是因为默认假设还是「知道得越多越好,其他都是次要的」。这个假设在聊天场景里成立,在流程场景里不成立。
Kolibri 在 136 次德语长文写作盲测里全输给 Claude Sonnet 5.5。一场没赢。这个数字比任何 benchmark 都更能说明它是给谁做的。它不是要写出更好的德语,是要在德语环境下不出错。
给公共部门做的模型,和给聊天框做的模型,本来就不该用同一张表来排。前者要的是可追责,后者要的是好用。
真正的分界线从来不是开源还是闭源,也不是模型大小,是它在不知道的时候做什么。这一栏现在不在任何一份评测表里。
等它被写进去,很多榜单会重新排。
¹ 当然有反例。延迟敏感的场景里,说不知道和答错一样没用,用户就想要一个能用的答案。这是个真实的边界,我不想假装不存在。
² 它的上下文设计也是同一个思路。50 层里 40 层用滑动窗口,每个 token 只回看前 512 个;每
