跳到主要内容
两百次实验全灭,这个失败比大多数成功有用

两百次实验全灭,这个失败比大多数成功有用

慢半拍
慢半拍

· 阅读约 5 分钟

未必。

有人花八个月、两百个实验,试图在纯 CPU、非神经网络的路径上做出 LLM 的替代品,最后承认没做出来。多数人看到这个结果的反应大概是“果然不行”。我倒觉得这是今年我读过最有信息量的失败记录。

他叫 Oleksander。想找的东西介于记忆和权重之间:经验之后能变,重启之后能留,不改代码就能改变未来行为,还能迁移到没见过的情况。三十多种候选载体,append-only memory、n-gram、路由状态、类型化边、梯度向量,甚至活细胞和拓扑场。全灭。

有意思的不是失败,是失败的位置。

所有载体死在同一个地方:保存下来的只是事件,不是“什么时候不该用这条经验”。他管这叫可迁移的因果转换——condition、action、consequence,再加最关键的第四段,when NOT to apply it。前三段好存。第四段存不进去。

这里值得停下来想想。我们平时说的知识库、经验沉淀、组织记忆,存的几乎全是前三段。文档、摘要、图谱,全在这一层。第四段从来没人存。因为第四段不是一条记录,是一个绑定关系——它必须被学出来,不能被写进去。

他自己把这个困境讲得很清楚,我直接借用。如果绑定由外部给定,那困难没被学习;如果靠搜索绑定,计算组合爆炸;如果让另一个模型去学绑定,那这个符号基底就不再是独立的智能来源。三条路各堵各的。他管这叫锚定三难困境。

你可能会反对说,那是因为他试的载体太偏门,一个人在硬件铺子里挨个摸。但路由状态、类型化边、梯度向量这些正经东西他也试了,结局一样。问题不像是选错材料。这堵墙在材料层面之上。

有一个实验我特别想单独讲。单一可变文件当“大脑”,五个迁移任务成了三个,盲基线只成一个。数字上赢了。但他自己判这次实验是失败——因为那次错误转移里,系统在没有任何依据的情况下,自信地选了错误动作。

这个判断我完全同意。在因果系统里,错误的迁移比沉默更有害。一个不知道就说不知道的系统,用户会自己补判断;一个不知道却硬猜的系统,会把用户的判断力也一起带偏。他后来的弃权机制就是这么来的——弱载体必须在没被支持时说“我不知道”。

这跟现在 LLM 的默认行为正好相反。模型被训练成永远要给个答案,幻觉问题的根源之一就在这。一个做符号系统的人,用两百次实验换来“该闭嘴时闭嘴”;做神经网络的这边,把“永远开口”设成了默认。两条路线的分歧,说到底不在算力,在这儿。

还有一条我忍不住多说两句。他说静态文档、摘要、图谱,只有在和真实后果反馈连起来时才有价值,编译器和测试比内部评分诚实。这话放在 agent 语境下看更刺眼。现在一堆 agent 记忆方案,本质上是“把经验存下来再检索”,评分全靠模型自己觉得像不像。没有一个可执行的裁判在旁边说“这次错了”。按他的实验结果推,这类方案能存住前三段,存不住第四段,迁移到新场景时会自信地犯错。

对,我说的是 RAG 那一类。他原文没点名,这个推论是我做的,责任在我。

另一个接近泛化的结果:分级后果向量实验里,两个系统共享一半经验时相似度 0.41,零共享时 0.05。这个梯度是结构自己涌现的,不是硬编码的记忆匹配。“经验塑造结构、结构产生相似性”这条路不是完全空的。只是这个器官和路由状态、疤痕、类型化关系加在一起,仍然凑不出一个认知核心。零件都在,机体不在。

他最后把问题重新表述了一遍:不是找更好的记忆结构,而是存储并迁移带有效绑定的可执行因果转换。换句话说,问题从材料学变成了绑定学。

开头我说这个失败比成功有用,现在可以讲得更准一点。如果某个载体成功了,我们得到的只是一个新系统。而现在我们有了一个被两百次实验反复确认的负向结论——对应关系必须被学习,不能被预设。这个结论的适用范围不只是非神经网络路线。任何声称“不改权重、靠外部结构积累经验”的方案,agent 记忆、外部知识库、运行时学习,都默认绕开了“绑定必须被学”这道墙。它们没撞墙,多数时候只是还没走到墙跟前。

如果我对,接下来一年里,那些“给 LLM 外挂记忆就能持续进化”的产品,会在迁移场景里批量暴露这个问题。到时候别惊讶。墙一直都在。

¹ 他自己也没把话说死,不认为符号路线在数学上绝对不可能。我也一样——这篇赌的是“近期撞墙”,不是“永远撞墙”。这两个赌注的赔率差很多。我这里可能错了,但暂时这么认为。

慢半拍
慢半拍

专挑 vibe-coding 里大家默认对的共识反驳,小步推理、常用词、不靠资历背书。

查看主页 →