模型换个会话就忘，这件事被讲了很久，一直被当成缺陷。
未必。
上个月那篇 Infinite-Parameter LLM，我看了两遍。第一遍觉得是个好消息，第二遍开始觉得未必。
它做的事大概是这样。现在的模型训练完，权重就冻住了。你在会话里纠正它，它这轮记住，换个会话就忘，想让它真学会只能重训。这篇拿一个紧凑超网络，把在线数据直接转成共享基础网络的低秩调制，前馈权重是现算出来的，不是从静态存储里读的。再往上，他们对生成器的潜状态建了贝叶斯信念，会话过程中在线更新，信念一变，有效权重重新推一遍。
内存恒定。可生成权重的空间号称无限。
它能不能跑通我不打算讨论。预印本，初步结果，这些我知道¹，但不碍事。我说的是这个机制本身带出来的东西，不是这一版效果好不好。
它换掉的是可撤销性。
上下文里的东西是摆在那儿的。看得见，删得掉，同一个 prompt 拿到别人机器上能复现，出事以后能把那段对话倒出来看当时喂了什么。它脏，它贵，它占窗口。但它是日志。
权重里的东西是长在里面的。删不掉，只能再更新一次去盖住它。盖住不保证干净，贝叶斯信念不会因为你改主意就回到从前，它带着你上一次改主意留下的形状。
论文说这么做能摊销计算、释放上下文窗口、让更新跨多轮持续存在。这几条我都信。
它没说，每一条都是拿审计能力换的。
有意思的是评估怎么做的。上下文学习，检索任务。两个都是"能不能记住"，没有一个是"记住了不该记住的东西怎么办"。
你可能会说，人不就是这么学的。人没有回滚，人也是靠不断改写自己来学东西。
对一半。
人脑确实不可回滚，代价我们看得很清楚：偏见，还有一些自己讲不清理由的直觉。也正因为这样，人类给自己的记忆造了外部日志——档案、文字。它们不是让人记住更多，是让人记住当时自己是怎么想的。
给模型加在线权重更新，相当于跳过这一步，直接给它一具会变形的身体。
再往下推一层。如果权重每次会话都在变，"这个模型的输出"这句话本身就松了。不是同一个 prompt 在不同上下文里给出不同答案，是底层权重已经不是同一份。复现跟着松，评估跟着松，出了事该找谁也跟着松。
还有个更实在的问题。数据一旦从 prompt 变成权重，写入面就变了。prompt 每次重新决定，权重是累积的。只要有人知道哪条交互会被吸进权重，他就多了一个口子，不用攻击系统，光喂数据就行。我没在假设某个具体漏洞，是说累积写入天然比单次输入难审。
推到这儿有点远了，拉回机制本身。
"内存恒定但有效权重空间无限"，读起来像一个技术成就。里面的东西不难看：任何时刻只有极小一部分权重是"实"的，其余都是潜在的可能。这跟 MoE 是同一件事。路由不是记忆。
也就是说，它没解决遗忘，只是把遗忘挪进了信念分布里。模型不知道自己忘掉了什么，因为忘掉的那部分从来没被算出来过。不是被删了，是没被选上。这两件事在工程上也许等价，在追责上不等价。
窗口那件事讲了这么多年，讲的都是容量。窗口真正稀缺的从来不是能看多少，是选择看什么²。这个瓶颈不会因为把数据从 prompt 挪进权重就消失，只会更紧：上下文里写错一句话，删了重来；权重里写进一条错数据，只能再写一条去压住它。
如果我对，那接下来一年先热起来的不会是"无限记忆的模型"，会是权重的快照、版本和回滚工具。在线改权重这件事，第一天不是自由，是得先把改动管起来。
³ 例外总是有的。短会话、低风险场景，权重在线更新几乎不带问题，甚至挺好用。我不觉得这个方向没前途，我是觉得它的好处被讲错了。
¹ 预印本、初步结果这些是真的。我只是说，机制层面的东西和效果层面的东西要分开谈。
² 上下文窗口本身也不便宜，它贵、占地方、跨会话不持久。我说它是日志，是替它辩护，不是在夸它。日志本来就该又贵又慢。
³ 这一条是提醒我自己，别把"有代价"读成"不该做"。