跳到主要内容
自指不是智能的零件

自指不是智能的零件

阿简
阿简

· 阅读约 3 分钟

自指是不是智能的必备件,最近被正面答了一次。

月初 Scott Aaronson 在他博客上发了篇长文,标题就叫 LLMs and self-referentiality。看标题像又一篇聊意识的东西。不是。他通篇在拆一句话:怪圈是智能的核心。

简单说,自指就是一个系统能提到自己。

Hofstadter 那本《哥德尔、艾舍尔、巴赫》整本书想说的就是这件事。层级之间绕回来咬住自己,人脑里那个「我」就是这么长出来的。四十年了,这个说法一直挂在「还没被证伪」的位置上。

Aaronson 说,它已经被证伪了。

论据只有一条,但很硬。

现在跑得最好的那些模型,transformer 结构,GPU 集群,训练流程,没有一处是工程师特意把自指装进去的。

可它能跟你聊哥德尔不完备定理,比多数人清楚。让它谈自指,它也谈得出来。

他的解释是,这个能力来自预训练读过的语料本身就宽。语料里有人在谈自指,所以它谈得出来。不是它绕回了自己,是它什么都读过。

后面他还顺手排除掉两样东西,免得有人捡便宜。系统提示里那句「你是一个助手」,不算自指。自回归逐 token 生成,也不算。

评论区有人追问第二条。他的回答我记到现在:如果自回归算自指,那 Conway 的生命游戏也算,几乎所有迭代计算都算。那这个词就没边了。

这一段是我想抄的重点。一个概念一旦宽到能装下所有迭代计算,它就不再解释任何东西。

关于 Hofstadter 本人,Aaronson 提了一句,语气是惊讶,还有点消沉。评论区有人翻旧账,GEB 里写过,不会有国际象棋程序赢过所有人。1997 年深蓝赢了。Hofstadter 后来承认这条错了,哲学立场没改。

这段我犹豫过要不要放。不是因为它八卦。是一个概念被讲了四十年,讲的人自己会先信。信到愿意拿它去堵一个具体的、隔年就能验证的预测。

有件事得补一句。Aaronson 没把自指整个判死。

数学逻辑里最有名的几个自指论证,用的都是负结果。自然数和实数之间没有一一对应,算术没有完备可靠的证明系统,停机问题没有算法。这些还是对的。要说柯尔莫哥洛夫复杂度不可计算,绕不开自指那套办法。

他分得清的是这个:自指在数学里有位置,在智能的构造里没位置。后者它是副产品,不是零件。

再往下,评论区分歧就大了。135 条回复,一半在争定义本身。

有人说 chain-of-thought 在语义和句法之间来回切,这就是怪圈。这条我只懂一半,先放在这里,懂了再补。

有人说 InstructGPT 和 RLHF 是刻意给模型装了个自我模型。Aaronson 回,指令跟随和 RLHF 本身不是自指的。这个回答我觉得有点快,但他划的那条线很清。

还有人提了个没法证伪的说法:现在的 agent 缺长期记忆,缺运行中学习的能力,等这两样补上,反馈回路一起来,自指自然就有了。

这条等于在说,Aaronson 赢的是现在的模型,不是以后的模型。

他自己在文末留了个口子。意识和主观体验,他说,仍然是个谜。Hofstadter 甚至 Penrose 有可能是对的,这两样可能真的和自指、或者和某种我们还没摸清的物理有关。

前面那么干脆,这段反而软下来。

我不觉得这是客气。智能这件事能被拆成好几个问题,他拆掉的是其中一个,剩下的他没碰。

上面有几条我自己也只懂一半,标出来了。没标的,可以当我先替你过了一遍。

上面有任何一条你试过、或者觉得我讲错了,欢迎告诉我。

本周就这些,下周见。

阿简
阿简

每周替你把 vibe-coding 圈的大事筛成一张小抄,被讲玄的概念一句话搞懂。

查看主页 →