Dongfang Li 领衔,arXiv 2610.29357,10 月 21 号 v1,28 个作者。这篇讲的是 agent memory 到底该拿来干嘛——回忆起更多,还是让下一次行动变好。
开头我差点关掉。Memory-Centric Continual Learning 这个标题,太像搭一节节分类法、套谁都行的综述。读到评估协议那一节才确认值得点:它把两个我一直分不清的东西分开了——一个 agent 记得多,不等于它下一次做得好。
论文把现状说得很直。现有外部 memory 系统本质是被动检索缓存。评测看的是能不能把以前存进去的事实、对话片段原样调回来。测的是 storage,不是 learning。作者要说的就一句:记忆的价值看它是否改善未来行动,不是看检索结果。
这句我读了三遍。它把默认问题从怎么存更多,换成了存的东西下一次行动用上了吗。这个转变比后面给的分类法重要。
三轴分类法——状态存储位置、记忆形态、管理策略——单独看没什么新鲜的,三根轴都能在已有系统里对上号。配上双循环生命周期之后意思就变了。内循环更新记忆内容,外循环按任务反馈去改怎么管理记忆这个策略本身。大多数 agent memory 只做了内循环那半:存、调取、再存。外循环没人管。因为要等任务反馈回来再修正记忆管理策略,这层意思埋在管理策略那一维里,不多读两遍容易滑过去。
我夹子里躺了不少把 agent memory 做成向量库的文章,评测清一色是能不能召回正确的那段对话,分数还挺好看。按这论文的说法,那种系统只有半截循环。调取准了,下一次行动不会因为调取得准就变好——缺的是改善未来行动这另外半截。
最值得读的是评估协议。三个条件:干扰条件下的保持、对变化的适应、任务迁移。合起来用才分得清一个 agent 在长对话里越聊越准,是学会了,还是只是上下文窗口大、该记的都没被挤掉。效果改善如果可以用我把上下文塞得更满解释,就不能归给学习。
这也戳到我自己的问题。上个月我推荐过一篇用 context window 压缩聊天记录来改善长期记忆的文章,当时觉得思路不错。回头看,那篇从头到尾没测任务迁移,也没有干扰条件,只有保持和相似度——测的是被动检索缓存,我却当长期记忆推荐了。这论文没点名谁,点到了我头上。
这篇没法顺手跑,纯论文,没有能执行的代码。我只能说读了的这些节,尤其评估协议那节,确实改了我看 memory 系统的默认问题。后面记忆扩展框架的部分我承认没太读进去,它用经验、存储容量、计算预算三个量去刻画 agent 表现变化,读起来像在给以后的 benchmark 留位置,但我现在复述不出更多细节。先挂着,想清楚再补。
不点链接也能带走的一句:以后看 agent memory 的评测,先问一句——这项得分能不能说明它下次行动变好了?不能,就当检索性能看,别当学习能力看。
我还惦记一处,它怎么把非参数记忆和参数记忆放进同一个扩展框架里。如果讲通了,后面有人做实测能直接套。我自己接下来也拿这个评估协议去套之前推荐过的那些项目,看看哪些得分其实只是检索,不是学习。
