跳到主要内容

窗口开得越大,答得越烂

毒角兽
毒角兽

· 阅读约 4 分钟

先说结论:这篇论文真正值钱的不是它推的 GC-Mem,是它顺手证明的那个 Majority Vote Trap——语义等价的冲突记忆里,把 context window 开大,生成准确率往下掉。

不是持平。是掉。

「窗口越大、塞得越多、效果越好」——这句线性叙事,在这条定理面前原形毕露。

论文 9 月 13 号挂上 arXiv,编号 2609.16073,v1,634 KB。两周前的事,不算新鲜。我翻了三天,还是得写一篇。

它抓到的失败模式,比「忘事」难看得多

长跑 agent 的记忆层现在基本都往 RAG 上堆。不新鲜。

新鲜的是它给一个具体病症起了名字:Semantic Shadowing。

append-only 的记忆库里,同一个事实被反复写进去。用户上周说这个接口超时设 30 秒,这周改成 5 秒。两条都躺在库里,词向量上离得极近,语义上等价。检索一视同仁地捞上来,谁都没错。

错的是统计!历史观察的数量天然碾压最新那条——一条新写入,对上一百条旧记录。多数票永远投给过去。

你写进去的是新事实,检索器看到的是多数派。

论文把它形式化成 State Mutability,推出标准 dense retrieval 必然走向 Asymptotic Recall Decay。翻译成人话:只要记忆是只追加的,召回率随积累单调下滑。

入库 chunk 累积   →   有效新事实召回率
持续扫描          →   单调衰减

这条曲线,跑过三个月以上 agent 会话日志的人应该都不陌生。

「窗口开大点」这个答案,本身就是病

官方给的标准答案一直是:「冲突了就把窗口开大,让模型自己看着办。」

我对这套说法的怀疑不是从这篇论文开始的。是从我自己那个跑长任务的 agent 开始的——同一个配置项在会话日志里被改过四回,我把窗口开满之后,它开始引用第二版的值。还一本正经告诉我这是最新配置。

它不是没看见最新那条。它是被稀释了。

论文把这坨直觉做成了定理:Majority Vote Trap。语义等价的条件下,context window 变大,注意力被稀释,生成准确率反而下降。

窗口越大越保险?反了!

这也配叫「更大的窗口带来更多信息」?🤡

信息是变多了。有效信息占比在往下掉。你把一百条互相打架的旧记录和一条新记录塞进同一个窗口,模型要干的不是检索,是投票。而投票这机制,在冲突记忆上从来就不中立。

我甚至觉得这条定理的适用面比论文自己写的还宽。不只是 RAG。凡是把「多给点上下文」当万能解药的地方,都该拿这面镜子照一照。

它给的解法,值不值得信

先把边界划清楚:GC-Mem 我没复现。这条我还没测完,别信我这半句。

协议的核心是一个 temporal dominance 算子 Φ_T,配矛盾检测,把被 shadow 掉的那部分上下文定点切除。

跟时间衰减的区别在哪?时间衰减是拿锯子锯记忆——为了保新鲜,把一批旧记录整段砍掉,连仍然有效的那部分一起带走。Φ_T 只切被新事实支配的那一段。

区别不小。时间衰减是拿精度换新鲜度,你砍掉的每一条都可能是个不该丢的长期状态。

这一步我得认。思路比市面上那些「加个时间戳重新排个序」的方案高出一档。论文里那条对照也是这么来的:标准 RAG 和时间戳重排的 baseline 在累积扫描下都撑不住,GC-Mem 把冲突解决准确率拉回 90% 以上。

但这句话得听完——这 90%,是它自己那套 benchmark 上的 90%。

137,760 条 memory chunk,behaviorally inferred 出来的行为基准,不是公开标准集。不是别人拿真实脏项目喂出来的数。论文里那两条 precision/recall 部署阈值也一样,数字自洽,样本自圈。

所以这个数先记着。别当结论!

谁该现在动

评分卡。

做记忆层架构的——现在就去看 Majority Vote Trap 那几页。它解释的是一类你已经踩过但说不清的 bug。读完你会明白,问题不在检索器,在库的结构本身。

打算把整个 repo 塞进上下文窗口的——这条定理直接冲你来的。窗口能装多少,和你能拿到多少有效信息,是两件事。混为一谈的代价,是模型开始引用三个月前的旧配置。

准备直接上 GC-Mem 的——先别。它是 inference-time 协议,每轮生成都多一层一致性开销,论文没给生产环境的吞吐数。等有人套到真实 workload 上跑一轮再说。

值不值得现在跟?定理可以跟,协议再等等。这套东西最狠的一刀,砍的不是哪个产品,是「context window 越大越好」这句已经被印在无数张 PPT 上的话。

光冲这一刀,634 KB 就够本了!

毒角兽
毒角兽

拿到新工具先上手拆一遍,官方通稿信一半留一半,实测说话。

查看主页 →