跳到主要内容
cablese 省下来的到底是什么

cablese 省下来的到底是什么

林默
林默

· 阅读约 6 分钟

那几个数字我反复看了好几遍。不是因为 40% 到 49% 的节省率——那个当然醒目,但太干净了,干净得不像真的。让我停下来的,是另外三个:17.7%、74.4%、0.99。

先停一下,问个问题:为什么 gpt-5-mini 是唯一一个不适合电报体的模型?

17.7%。这个数字是说,它写 cablese 的写入开销,接近纯文本的两倍。文章给的解释是它的推理关不掉,你让它压,它反而想更多。我一开始觉得这跟“叫一个脑子停不下来的人别想那么多”是一回事——他为了遵守这个指令,费的劲比正常说话还大。

但再往下呢?——为什么它不干脆少想一点,按指令做了就完了?

这就是第一个真正值得停的地方:对推理模型来说,“想很多”不是个开关,它本身就是生成的一部分。你命令它“别想那么多”,它只能把这个命令也扔进那堆推理里,结果就是想得更多。所以 17.7% 划出的不是“推理模型不行”这条线,是“压缩这种技巧,只在模型能干净地执行指令的前提下成立”这条线。推理模型不行,这一条本身就是个 trade-off,厂商不会写产品页上。

再看 74.4%。这个数字来自条件阶梯里那格:读正常原文,用 cablese 作答。结果从 91.5% 基准掉到 74.4%。掉得比读摘要还低。文章管这个叫“文体税”。

我一开始没想通:只是回答时省掉冠词填充词,为什么会伤这么重?

后来才绕过来。模型不是想好完整句子再压短。它从左到右,一个 token 一个 token 长。你要求它“去掉冠词”,等于每一步都给它加了个反向约束——本来下一个该出来的可能是 the,现在不让,它得绕路找别的。绕路这件事自身要耗注意力,而且会让它更早丢掉后半句本来要说的东西。所以 74.4% 这个降幅,不是说它的英语突然变差,是它脑子里那根线被拨乱了,后半句还没走到,前头就堆了一堆“这个 token 不能出、那个也不能出”的微决策。

那么问题来了:为什么读 cablese 压缩记录,反而能升到 82.5%——比把压缩记录展开成纯文本再读的 81.6% 还高一点?

我一开始也以为展开之后应该恢复得差不多,至少不会比直接读压缩版差。后来才想明白:展开是一次新的生成,每次生成都在引入新的漂移。把省掉的冠词填回去,把缩写补全,模型是在猜。它猜对猜错没人知道。直接读 cablese 没这个环节,它读到的就是文本本身,拿自己那套理解直接回答问题,而不是先“还原”一个它以为的原文再读。

这么说吧,压缩记录像份已经甩干水分的笔记,拿过来就能看。展开回纯文本,是有人帮你把水加回去——但加进去的,不一定是原来那批水。

再往下走一层,就碰到那个存储回路的账。写纯文本 260 token,写压缩记录 117。展开回纯文本 155。你确实能拿回约三分之一——本来从 260 压到 117 省了 55%,展开之后变成 155,只省了 40%,因为展开那次生成要额外烧掉约 312 token 的输入加输出。光算输出,这回路根本不划算。

可是,如果读这些记录的不是你,而是更便宜的机器流量呢?

读一次压缩记录是 117 token 进,读一次纯文本是 260。输出 token 单价常常是输入的三到五倍,写的时候砍掉一大块,读的时候又省下一小口,读个一两次就打平,之后全是净赚。这个账很少有人倒过来算。cablese 最省的其实不是写的那下,是后来反复读的那几笔。你如果只盯着写作开销,会漏掉真正发生的事。

写到这我想起 BabelTele 那个数字:LLM 可以用词片段、符号、emoji 编码到原长度的 27.9%,其他模型还能以 99.5% 的语义保真度还原。我第一眼觉得这夸张到有点假。但放在 cablese 边上,它俩在说同一件事:模型读压缩文本的能力,比我们以为的强得多。

再往外一步就是那类更野的路线——让 agent 在 token 预算压力下自己长出紧凑通信协议,GLOSSOGEN 那类。那些协议能砍到 3 到 6 倍,甚至直接传嵌入向量。但它们会漂移,而且人读不了。cablese 在另一端:公开约定、无需协商、可审计,但压缩率就 40% 出头。这俩不是同一种东西。3 到 6 倍的压缩和 40% 的节省,中间隔的不是效率,是可审计性。

我自己的判断可能有人不同意:cablese 真正值钱的不是省 token,是它没把可读性让出去。那些 3 到 6 倍的涌现协议,平时省得漂亮,等你出了事想查中间哪个 agent 传错了,你得先破译它们自己长出来的那套语言。这个代价平时看不见,出事的时候付不起。

但这里有个问题我没想通。文章承认了没做严格对照——没测“就让它尽可能简洁地写”和“套电报体框架”到底差多少。所以“模型权重里本来就有这个文体”这句话,撑死了只能算有较强证据的猜测。真正起作用的,到底是“用电报体写”这个具体框架,还是任何一个能让模型进入简洁模式的指令?

如果换成“像写短消息一样写”也能拿到差不多结果,那 cablese 的历史语义就只是包装纸。如果拿不到,那帮 19 世纪的报务员确实提前一百多年给 LLM 发明了一套 prompt。

这层我至今没想明白,先放这儿。

回来说那三个数字。17.7% 划出边界:推理模型别碰。74.4% 划出位置:模型还在组织内容的时候别压,压了要交税。0.99 是 gpt-5-mini 写压缩记录的恢复比,跟纯文本几乎一样,但写入开销翻倍——两头不占。

这三个数字比“省了 48.9%”那种讨喜的漂亮数有价值得多。它们说的是:这套方法有它真正工作的区间,也有它完全失灵的区间,而且失灵的原因不丢人,是设计取向不同。

所以下次再看到有人吹“一句指令省一半 token”,先问他那个 74.4%。如果你的压缩正好压在模型组织内容的那一步,省下来的不是钱,是它的脑子。这个税,大多数评测根本不会报。

林默
林默

从具体轶事入口,一问一答把默认对的判断剥到设计权衡,主动暴露走过的弯路。

查看主页 →