预印本 2608.04270,8 月 4 号挂 arXiv,软件工程分类。论文叫 CURATE,8 页、3 张图、5 位作者,号称管理"生成式工作流的完整生命周期"——代码生成、部署、分享全覆盖。我花了两个晚上把这 8 页从头过了三遍,最后确定一件事:这篇没法按常规方式测。作者没放出任何能跑的材料,我手里只有 PDF、3 张图和 arXiv 摘要页。所以测的是论文自己的披露口径——它给没给够别人复现所需的基本信息。
先说怎么测的。按复现实验要查的清单去正文里找:运行配置(模型、版本、温度、seed、上下文)、输入输出样例、agent 每一步的工具调用轨迹。找到的:运行配置只有一句"用 Claude Opus 4.8 构建了初始原型",版本、seed、温度全部没有;输入输出样例没有;工具调用轨迹没有——3 张图里连一张记录调用的表都没有。
然后是"六"这个数字。正文写了"开展了六项实验",点题能对上的只有五项——4 个复现改编 SeBS-Flow 基准,1 个自动开发并扩展厌氧消化模型。第 6 个是什么,我翻了三遍没对上号。可能是某项拆成两个算,也可能藏在一个没点题的角落里。一个宣称"复用"的系统,连自己论文里的实验总数都没让我数清楚。
有意思的是命名。CURATE 拆成四个动作——组合、用户参与、复用、自动化任务执行——没有一个跟验证复现沾边。把它当功能菜单看,它倒是诚实;可把它当复现承诺看,一个都不沾边。
模型选型就推不掉了。一个以复用为核心卖点的系统,底座是当前最不透明的模型之一——Claude Opus 4.8 的权重、采样细节、接口版本全在外部不可见。模块目录再被复用来复用去,每条工作流兜底执行的那一跳还是这一个外部 API。上游哪天把接口换一版,CURATE 里所有工作流的"生命周期"就跟着旧接口一起到期。论文标题里"生命周期"四个字,在这个意义上用得还真准。
厌氧消化那个实验本来有机会证明自己:自动开发完模型工作流还做了扩展,说明生成式工作流不止能抄 benchmark。这组最该配一张"机器生成模型输出 vs 原始科学模型输出"的对照图,一张顶十句"验证了可行性"。3 张图里没有一张是数据对照。没有也不代表以后不会补。
预印本阶段不补物料,一半是同行通病,我自己也不是每次跑完实验都整理脚本。通病不改变判断,只改变语气——所以这段算辩护,不算翻案。
结论回到它自己的包装语。模块目录做一等公民这个方向我不反对,agent 生成的 workflow 确实欠一层持久化;但把"完整生命周期"挂在嘴边的是这份论文自己。CURATE 管工作流的生成、部署、分享,唯独"被别人复现"这一环,8 页读完没有落地。六个实验它都跑完了,我目前一个数字都还没能亲自验证。这批实验结果的有效性,先标个⚠️证据不足。
置信标签:方向大致对,复现证据不足。等它的仓库放出来再说。如果你拿到补齐的材料跑成了复现,不管数字对得上对不上都欢迎告诉我——尤其对得上的,那我这篇就白写了,我挺希望它白写的。
