速评：这篇测评最该被转发的，是作者自己写“我不宣称排第一”那一段。
Efe Genc 10 月 24 号发在 dev.to 上，标题挂着 2.67 分的优势：公开集 60 分满分，他那个 ai-slop-linter 拿 58.67，第二名是按名称调用的 Humanizer，56.00，95% bootstrap 区间 [1.00, 4.33]。区间给全了，这点先记着，很多人连误差线都懒得画。
往下翻到留出集，故事就散了。30 分满分，unslop 拿了满的 30.00，avoid-ai-writing、这个 linter、按名称调用的 unslop 三家并列 29.67，连无插件基线都有 28.67。四个组站在 29.67 以上，最高最低差 1.33。作者自己把话写明白了：这个任务集区分不了头部工具。
我读到这儿把本来想好的话咽了回去。
本来我这类“自家工具拿了第一”的测评是一律先打七折的，行业惯例，谁做的东西谁赢，赢了还要挑个好看的指标发。这回不太一样：作者把留出集原样贴出来了，还主动说 linter 在这集比 unslop 低 0.33，区间 [-1.00, 0.00]，所以不宣称第一——差距具体到 ho1 这个任务，4.67 对 5.00。一处都不含糊。
公开集那 2.67 分我也没打算当结论用。12 个任务，每组每个任务跑 3 次，满分 60。这个体量下两分多的差距，够不够撑起“插件比技能好”这句话，我心里是打问号的。作者自己也没硬撑：h11、h15 上他 4.67，对手 5.00；h18 打平；更严格的逐任务规则 B 在这三个任务上不通过。在哪儿输写得比在哪儿赢清楚，这在自家的 benchmark 里算稀罕物。
真正让我坐直的是成本那一栏。公开集每个评分单元 0.125 美元对无插件基线的 0.051，2.43 倍，整套测量按标价 91 美元。这数字不会出现在任何一份产品通稿里，因为不好看。但它恰恰是这类工具真实使用时的关键参数——每次改写完跑一遍对比、比较失败就当阻断，钱是这么烧出去的。分数高 2.67，代价贵 1.43 倍，这笔账怎么算，得看你是偶尔改一段还是天天挂在流水线上。
顺带说个细节，作者没解释我也不敢替他解释：三个技能按名称调用普遍比普通调用高一点，Humanizer 56.00 对 54.67，everwrite 54.33 对 53.33，unslop 51.67 对 51.00，差 1.33、1.00、0.67，三个方向全一致。这个整齐程度不像噪声。是模型对这几个词本身有先验偏好，还是 Claude Code 的技能调用路径在起作用，我不知道，但这条比 2.67 分有意思得多，值得有人单开一篇扒。
工具本身的设计思路我觉得比分数值钱。命令行程序，不调模型，没有依赖，规则确定，同一段文本永远给同一个结果——这是它和一堆 LLM 技能的本质区别，不是分数能体现的。--compare 模式拿两份文本对，把只在一侧出现的数字、版本、日期、链接、引文、代码片段、名字列出来，发现差异退出码置 1；还会报数字旁边丢掉的限定词、以及改写时新加进去的第一人称和断言词。听着朴素，顺序是对的：先保证改写没把事实改坏，再谈语气像不像人。市面上多数“润色”类工具是反着来的，先让文字顺滑，事实对不对后面再说。
还有个我更愿意单独拎出来的：外部贡献者拿印地语语料测完之后，结论是没有可以安全发布的规则，于是工具干脆不对印地语作声明。这种克制现在少见得离谱，换成别人早就把支持语言数写到四十加了。
盲评那段也扎实。所有组的输出混排匿名，评分者先写理由再给结论，每个单元投 5 票，99 个单元里 92 个完全一致；中途崩过一次、两份副本写进投票文件，重评的 165 个文件全有效，抽样 33 个跟首评在 99.4% 的评分标准上对得上。会话限制打断过两次，236 个公开集尝试、160 个留出集尝试因限额失败，保留但从不评分，之后用同一条命令重跑；抽 60 个重跑单元，公开集 38/40、留出集 19/20 落在原始三次运行的范围内。协议还是在第一个评分单元跑之前就写好提交的。
这些细节堆起来说明一件事：一个 benchmark 最值钱的地方，是它老老实实告诉你它测不出什么。
要挑刺也有。12 个公开任务，6 个留出任务，无插件基线在留出集都能拿 28.67/30，天花板效应摆在那儿，头部工具的差距全压在噪声里。这个规模想分出胜负，只能靠加大任务量和难度，不是靠再跑三轮。文章本身还是在 Claude 协助下起草的，作者本人审阅——放在这篇的语境里有点自嘲意味，去 AI 味的测评自己也用 AI 起草，行吧，起码说了。
这里立个 flag：这套做法——留出集、盲评、把失败尝试保留下来不评分、重跑抽样核对——要是被更多人抄走，一年内那种一页 PPT 一根柱状图的工具测评会少一批。但我赌它抄不开，因为承认自己测不出来不涨粉，而涨粉才是大部分人做测评的真实目的🙂