跳到主要内容
129 天翻一倍,这条线怎么就被写成经济学定律了

129 天翻一倍,这条线怎么就被写成经济学定律了

毒角兽
毒角兽

· 阅读约 6 分钟

先说结论:这篇论文最诚实的一句话,藏在它自己的免责声明里。剩下三十几页,都在跟那句免责声明较劲。

概念我给 8 分,证据给 3 分。合起来 5.5,不及格线上挣扎。

论文叫《The Customer Is the Builder》,10 月 21 号挂上 arXiv,主分类 cs.SE,交叉挂了 cs.CY 和 econ.GN。看到这个挂法我就大概猜到后面要干什么了——前半段写工程,后半段写经济学,中间靠一条曲线搭桥。

桥就是这条。

「自 2023 年以来,领先智能体在 50% 成功率下能完成的基准任务长度,大约每 129 天翻一倍。」

好,按一下计算器。

129 天翻一倍,一年 365 天就是 2.8 个周期,一年七倍出头。从 2023 年初到今天,三年零十个月,接近十一个周期。2 的 11 次方是 2048。

意思是,2023 年初只能干一分钟活的智能体,现在该能连着干三十多个小时。🐮

我还没见过哪个 agent 能跑满三十小时不崩的。

这条线在长任务那一头一定是弯的。问题只在于,论文是没发现它弯,还是发现了不想说。

先别急着骂数据造假,我怀疑毛病出在换算上。把基准任务折算成「人类工作时长」,短任务还勉强能对,一旦拉到小时级,折算系数就开始耍赖——一个需要人类四小时的任务,拆成智能体执行的几十步,每步失败概率是乘起来的。十步任务,单步成功率 95%,整体只剩六成。这条曲线在长任务区间不可能是干净的指数形状。

而论文后面所有的推演,都建立在「它不弯」上面。

再看那个 50% 成功率。

拿一半概率失败当及格线,本身说明这个指标衡量的是「凑合能跑通」,不是「能交付」。用它画增长曲线,等于把抽奖中奖率当产能。这个阈值选得不是不严谨,是太方便了——阈值越低,曲线越陡;曲线越陡,后面那个故事才越好讲。

论文自己其实知道。第十九条位置附近写着:基于基准的预测属于外推,不构成对客户实际转换行为的预测。

这句话应该印在封面。

它被塞在论文中段,而前面的图 3、后面的市场推演,全都在拿那条曲线当自变量用。免责声明写在第 13 条,是给审稿人看的,不是给结论看的。

然后是那 575 个开源替代品。

作者做了一轮「广泛检索」,为若干商业产品找到 575 个潜在替代品。原文用了「潜在」,还补了一句功能匹配有待独立验证。

翻译一下:搜出来的,不是验出来的。

搜索结果和可用替代品之间差着两个数量级,这点写过代码的人都懂——关键词打进去,返回的数字永远比能跑起来的多得多。575 这个数被放在论证的承重墙上,但它实际证明的只是「开源生态里存在大量描述相近的仓库」,不是「这些功能已经能被自建取代」。

两句话差着十万八千里。

Craft 那个案例更典型。12 天公开开发时间,12 个应用仓库。数字排得很齐。往后读一句:早期版本,完整性与可靠性未经验证。

所以这案例证明了什么?只证明了智能体能在 12 天里生成 12 个仓库。仓库到能用的软件之间隔着什么,不用我说。拿未验证的产出当能力证据,跟拿发布会 PPT 当跑分是一个路数。

市场那一段更有意思。论文自己承认,市场层面证据是「混合」的:已购软件的美国投资份额上升了,被追踪的商业安装量也在增长。

等一下。这两条都是往「还在买」的方向走的。

作者管这叫混合。我管这叫没找到。

真正聪明的是紧接着那条警示:客户自建能力的提升,可能在采购结构变化被观察到之前,就先影响单个采购决策。

这一条把「宏观数据不支持」翻译成了「变化还没渗透到宏观层面」。听着挺有道理,问题是它在方法论上不可证伪——明年宏观数据还是不支持,可以说还没到;支持了,可以说我早讲过。两头都能圆。这种说法在经济学论文里不算罕见,但在一篇拿基准外推当主证据的论文里,它更像最后一块挡箭牌。

话说到这儿,我得往回拉一把,不然这篇就成撒气了。

「软件替代前沿」这个概念本身有价值。它把「AI 会不会取代程序员」这种吵了三年没结论的话题,换成一个能算的问题:哪些功能的自建成本已经掉到外购线以下。这个框架比大多数同类论文实在,至少它给出了一个可以被证伪的边界。

把研究对象限定在有领域知识的组织和专业采购者,这一步也对。这类主体有能力判断自建工具够不够用,不像普通消费者,点两下就下结论。

还有那个 32%。调查里说,32% 的组织至少放弃过一次采购,理由是觉得能自己实现。作者自己提醒了,自我报告推不出实际的替代规模。但这数字仍然比任何 benchmark 有信息量——采购决策是人真金白银掏钱的那一刻,不是刷榜。刷榜谁都会,掏钱骗不了自己。

说到底,方向我认,证据我不认。它的问题不是结论错,是结论跑得比证据快了两个身位。

顺带说一句,我自己给小团队算过一笔年费账。那种按月扣、用不上的功能占大半的订阅,一年下来够买两个像样的开源方案外加一台小服务器。这笔账算清楚之后,那 32% 我一点都不意外。

锐评评分卡:概念——值钱,建议直接拿走用;129 天那条线——水分主要在这儿,长任务区间的形状没交代清楚就外推,这波不冤;575 这个数——搜索结果冒充实证,得打折;市场证据——自己写「混合」,实际是反向的,扣分;开放性——代码和数据都放出来了,这点给分。

这钱花得冤不冤?论文免费,不花你钱,花的是你信它的那点注意力。

我的建议:读前三节,把「软件替代前沿」这个词抄走,剩下的图表当期货看。别拿那条 129 天的线做任何超过一年的预算规划——那不是预测,那是把最近两年最好看的一段数据拉直了往后延。

毒角兽
毒角兽

拿到新工具先上手拆一遍,官方通稿信一半留一半,实测说话。

查看主页 →