8 月 2 号 arXiv 上贴了一份手稿,题为“Context Compaction Theory”。四个作者,Hayder Tirmazi、Sam Markelon 等人,做的事一句话概括:给上下文压缩——做 agent 系统的人每天都在用、却一直没人给过正式定义的过程——建了一个由两个博弈构成的框架,并且证明它和单向通信复杂度是同一个问题。这篇没有匿名信源,素材就是那份公开手稿;下面带(确认)的是论文里写明的,带(分析)的是我自己的解读,读者可以自己核。
先交代一个背景,也不算背景,是选题动机。上下文压缩早就是各家 agent 产品的默认机制了,从自动摘要到 context window 治理,工程上已经跑得很快;但理论这一侧几乎空白,没有人能说清“压到什么程度必然崩”这个问题的边界。论文自己指出此前压缩过程缺乏系统性研究——这一点不用太多论证,做过压缩调优的人应该都有同感。这篇手稿做的,是把一个问题形式化了:给定误差,最小压缩预算是多少。就这一步,已经搭了一条工程和理论之间可以对话的通路。
论文把两条压缩路线各建了一个博弈,分别叫“Context Selection Game”和“Context Generation Game”。区别一句话:选择局里,压缩方只能从原始上下文里挑,留下的还得是原文;生成局里,压缩方可以自己合成一段表示,只要接收方靠这段表示能答出查询。对应到当代 agent 系统里,就是现在两种主流的压缩策略——保留式挑选和重写式合成。前者便宜、可控、不引入新内容;后者表达空间大,但每一笔输出都在往外带新词。这个张力搞过 agent 的人都见过,论文做的是第一次把它放到形式语言里讨论。
最硬的结果,我认为是那个等价关系。(确认)论文证明了:给定误差下回答一组查询所需的最小压缩预算,正好等于对应通信问题的单向通信复杂度。翻译成直观的话:把压缩看成一次单向通信——发送方持有完整上下文,接收方只有查询,发送方只能发一条消息,消息长度就是压缩预算。单向通信复杂度研究了几十年,下界技术有一大摞。这个等价的锋利之处在于它是上下兼夹的:压缩做不到比通信下界更省,同时也总能做到通信协议能省到的程度。以前工程里“为什么压到这个程度质量就崩了”的经验,从理论角度讲,就是撞上了某个通信问题的复杂度下界。
理论上这算一个少见的结构性结果——它不是某个具体任务的复杂度分析,而是把一整类问题映射到了另一个已经成熟的领域。(分析)这种映射的副产品是:通信复杂度里几十年前攒下的下界,现在全部可以拿来当压缩算法的候选下界;反过来,压缩领域里算不出来的界,也可以回到通信复杂度里找等价款。这种“翻译”在理论工作里不是每天都有。
有个建模细节值得单独提一句:这里用的是单向,不是交互式。直觉上这和 agent 的实际流程对得上——压缩发生在写进 context 的那一刻,接收方读完压缩结果,不会发回一句“没看懂,重新压”的反馈信号,要省就得一次省到位。这个单向选择是刻意做出来的。(分析)这也是为什么通信复杂度里的结果能直接平移过来:它对得上的现实比想象中多。
顺带的那个推论,我认为比主定理更值得读。(确认)论文证明存在一组查询,让生成式压缩需要的预算严格小于选择式压缩。这等于说“生成式在某些情况下能比选择式更省”这件事,从工程直觉变成了有定理支撑的结论。但先别急着把生产里的压缩策略换成生成式——我也手痒了一下又按住了。这是存在性结论,不是普遍性结论;选择式的确定性、可解释、低成本不会因为一条存在性定理就消失。而且通信复杂度的模型里,压缩方是不花钱的;现实里生成式压缩每写一个 token 都在花推理成本。“生成式更省”省的是上下文预算,不是总成本。两种账要分开算。
它真正改变的是语言。以后讨论压缩方案,能说“这个误差下预算不够”,而不是“感觉摘要质量差一点”。后者没法论证,前者可以。这套语言会不会渗透进方案评审,那要过一段时间看,我不展开——它是我观察到的可能,不是已经发生的事。
案例研究用的是 Anthropic 的上下文压缩端点,任务选了集合成员查询。(确认)前者是被评估对象,后者在通信复杂度里是相当基础的任务,选它测理论预测很方便。论文里具体数字我不摘了,想核的自己去翻手稿。这里更值得记的是这个行为本身:Anthropic 把压缩端点做成了对外可调用的东西,不然论文作者没得测。这个“对外可调用”(分析,从论文可评估倒推)比论文里任何一条定理都更像信号——一年前上下文压缩还藏在各家 API 的内部实现里,现在它已经出现在学术手稿的案例研究节里了。
关于“首次”这个词,我要单独说一句:这是论文自己的说法,在走出同行评议之前我没法替它背书。我能确认的是这篇手稿确实提出了那套框架;就我读过的公开文献来说,此前确实没见过同一形式的先例——但这是读文献的直觉,不是系统检索,严谨性按这一档算。上面信源分层标了,这里就不重复了。
几个值得盯的信号,不压注,只列观察点: 一、这篇论文什么时候出正式会议版本,定理在同行评议之后有没有改动——理论工作进入正式渠道的速度本身是信号。 二、Anthropic 那个压缩端点被论文这么引用以后,官方文档、定价、能力描述这些页面有没有措辞变化——产品团队在不在意学术界的关注,通常最早在这些地方显形。 三、“压缩预算”这个词,接下来一年会不会流进工程团队的架构评审、招聘 JD、技术分享。它进不了工程语言,说明理论还是理论;进了,说明边界真的开始往工程那边渗。 有内部信源的同学——在大厂实际管压缩预算的那种——如果你们内部已经拿这套框架对过某个方案,欢迎匿名补充。这期到这。
