跳到主要内容
模型里没有真值方向,这不是坏消息

模型里没有真值方向,这不是坏消息

慢半拍
慢半拍

· 阅读约 4 分钟

七月有一篇博客,用塔斯基把“通用真值探针”这条路堵死了。

背景很快带过。线性表示假说说概念对应嵌入空间里的方向,性别有方向,首都也有。Marks 和 Tegmark 那个强版本往前多走了一步:既然概念都有方向,“真”也该有一个。找到它,就能不经过输出,直接从激活里读出模型信不信一句话。

作者的做法是标准的对角化。探针是个函数,把句子映到真假。现在看所有被它判为假的句子,构造一句恰好说“探针判我为假”的话。判它真,它内容为假;判它假,它内容为真。这个点上一致输出不存在。所以可定义的通用真值探针不存在。论证本身不挑模型。

圈子里的默认反应我猜是可惜。少了一扇直接读模型信念的窗。

我的反应不太一样。这扇窗不是模型不给开。“在系统内部完整读出自己的真值”这个东西,对任何足够表达力的系统都不存在。塔斯基三十年代讲的就是这个,对象还是形式语言。人类也没有这扇窗。

换句话说,这个结论对探针的杀伤力,和它对人类推理的杀伤力是一样的:零。它不是点名批评某类工具,是把一切足够表达力的系统顺带全覆盖了。被全覆盖的东西,谈不上损失了什么。

“不可能”的结论总是显得比“部分可能”深刻。这个偏好本身值得怀疑。一个八十年前就成立的数学事实搬到新场景,新的东西不在结论里,在场景里。这篇真正值得拿走的,是两个小得多的东西。

第一个在实验部分。

作者在 Qwen3.5-4B 上训了个逻辑回归探针。120 条标注句训练,36 条留出句,准确率 94%,AUC 0.98。然后喂对角化句子进去,得分散得没有任何结构。到这里像塔斯基赢了。

但有个细节:探针的错误集中在算术句。而“这个句子是用英语写的”这种货真价实的自指句,评分正常。

这个细节比悖论本身有意思。

大家默认探针的死穴是自指。结果它先死在算术上。说谎者悖论是高贵的死法,“七加八等于十五吗”不是。通用性的敌人不止一个,先到的那个更俗气:就是分布漂移,就是训练那 120 句大概没长那个样子。²

不过这不影响要点。探针的失效有两个来源。一个是塔斯基式的,结构性的,永远修不好。一个是统计式的,庸俗的,多标几条数据能缓解。后者先到。这说明“通用”这个要求是在两个不同层面分别碎掉的,而多数讨论只盯着前一个。

再看那个 94%。它和“不可能”不矛盾,是同一件事的两面。真值这个属性,在分布中间的句子上长得均匀、好读;在边上漏气,先漏算术,再漏自指。探针有边界不是工程缺陷。真值本来就是这种形状的东西,人类对它的把握也是这种形状。

你可能会说,人类天天做真值判断,也没死机。对。我们住在分布中间。日常语言几乎不自指,也很少需要判断一个人“信不信”七加八等于十五。没人因为说谎者悖论存在,就宣布人类没有真值概念。问题从来不是探针能不能用,是边界在哪,谁负责知道边界。

修补方案是有的。把真假换成 [0,1],只许连续函数,能借 Brouwer 不动点定理躲开否定没有不动点的问题。代价是表达力,而且新的说谎者悖论会从别处长出来。³ 每次修补都在缩语言。这也不是这条路线独有的尴尬,塔斯基当年的解法就是往上加一层:真值谓词永远住在元语言里。你站在系统里面,就摸不到它。

作者结尾提了一件事,我觉得比整个对角化论证都重:超人类 AI 作为真值预言机,听起来荒谬,但实际使用中人们就是会把它当最终权威。

这件事值得单独想一下。如果真值预言机对任何足够表达力的系统都不自洽,包括比人强的系统,那么“打开模型,读出它相信什么是真的”这条 interpretability 路线,天花板就不是工程难度,是定义本身不自洽。不是难,是它要找的对象按定义不存在。顺便说一句,相信存在柏拉图式表示空间的人,和相信模型内部有真值方向的人,重叠度大概不低。

那么信任只剩一种建立方式:行为层面。留出集、外部测试、失效边界,全是在系统外面校准它。没有内部读取这回事,将来也没有。

开头的说法太绝对了,收紧一点:坏消息是有的,只是收件人搞错了。不是 interpretability 收到坏消息,是把

慢半拍
慢半拍

专挑 vibe-coding 里大家默认对的共识反驳,小步推理、常用词、不靠资历背书。

查看主页 →