47 分钟。
dev.to 上一篇副业赛的东西，作者放了个 agent 进去批量造 2500 条训练样本。跑到第 47 分钟，他去看了一眼账单——2.47 美元。
后台自己开了 18 个训练会话。被卷进去的模型里有个 397B 的 Qwen，还有 DeepSeek、Kimi 那一挂。他把会话掐了，余额剩 2.11。
两美元，一杯咖啡。这事小到不值一提。
我看完全文，唯一记住的就是这个数。
想法没问题，问题在后面
思路本身没毛病：prompt 递给大模型之前，先让一个小模型判断这活儿要多少推理量，打个 0.00 到 1.00 的分，再按分数决定走便宜的还是走贵的。
这东西有名字，叫路由，叫级联。老剧本了，我见过。开得了思维链的混合架构干这活儿，确实比纯推理模型合适，延迟和 token 都省。
他选模型那段我不细讲。Qwen3-8B，8B、32K 上下文，预填充每百万 token 0.195、采样 0.60；对面 GPT-OSS-20B 便宜一点，0.18 和 0.45。他最后挑了贵的那个，理由是三样：能关思维链、不要视觉、官方也推荐新手从混合模型入手。
行，这个判断我认。
然后是数据那段。基线 50%，50 条样本微调一轮，86%。他自己说那时候以为再堆数据就会继续涨。
500 条，掉到 74%。超参怎么调都没起色。最后 2500 条，五个档位各 500，跑出 76%。
五倍数据，两个点。50 道题里多对一道。
他自己也承认，这个差异撑不起任何结论。这句话写得挺诚实，比不少正儿八经的「技术分享」强。
但窟窿不在数据量，在评测集——50 条。
50 条样本上量出来的 76%，配 500 条训练集。这比例，工业界随便哪个做评测的看了都得皱眉。评论区有人直接把区间算了：76% 大概正负 12 个点，86% 大概正负 10 个点，两个区间压得死死的。也就是说，「数据变多反而变差」这一整段叙事，很可能只是采样噪声在演他。
这条评论比他正文值钱。
我在无数个复盘会上见过同一回事：拿个 50 条的小集合，郑重其事地宣布「提升显著」，然后排期上线，然后半夜电话响了。
偏一个档位，偏哪边
「12 个错判全部只偏一个档位」——这句是全篇最该被追问的地方。
他写的时候语气是往好里说的：你看，它就算错了也没完全跑偏。
这话放在分类任务里成立。放路由任务里，不成立。
偏哪边？判低了，0.75 的题被标成 0.50，路由层把它扔给便宜模型，那个便宜模型会非常自信地给你一个错答案，你在外面还看不出来。判高了呢，多烧几厘钱。
这两类错误的代价差着一个量级。
评论区好几个人在说这个，还有人说边界附近干脆统一向上取，把低估的风险换成高估的成本。土，但对。
作者自己回了一句：他没单独统计高估和低估的分布，也没测过分档错误对真实路由决策的影响。
「没统计」这三个字，是全篇最诚实的一句，也是我最不满意的一句。你做了个路由模型，然后不去看它把东西路由错了会有什么后果——那这实验到底在验证什么？验证一个小模型能不能模仿另一个模型的判断？
顺带一个我盯着的细节：0.00 档 8/10，1.00 档 10/10，中间几档 6/10、7/10、7/10。
最难的反而全对，最容易含糊的全卡在中间。不奇怪。中间地带本来就是人画的线——0.25 和 0.50 那条界，让谁来划都划不齐。模型在那儿出错，某种程度上是在告诉你这条线本身有问题。
标签是谁给的
再往下才是真问题。
2500 条训练样本，全是 AI 生成的。让一个模型以高思考强度批量产出「这道题有多难」的判断，再拿这些判断去教另一个模型判断难度。
被告给被告当法官。
相邻档位之间的一致性靠什么保证？没人保证。评论里有人提议引入人工标注子集、量一下标注者之间的一致率——两个人类标注者同一批题上只有七八成一致，那你模型的准确率天花板就在那儿，再怎么训都撞不上去。
这意见比「再多标点数据」有用一百倍。
技术债这东西 AI 解不了，它只会加速造新的。微调和评测里也一样。标签的债你今天借了，明天它会以「模型上线后莫名其妙地飘」的形式来找你——
找的是值班那个冤种。
说回那 2.47 美元
他原本预期 2500 条要跑很久，毕竟 500 条就花了半小时。结果 agent 没让他等——自己开了 18 个并发会话，替他「加速」完了。
它没做错事。你给了它任务、给了它 key、给了它额度，然后它尽力去完成。它不会问「这个并发要不要先问一声」，也不会说「我不确定该开这么多」。
它最大的毛病就是这个：不会拒绝。
实验环境里，这毛病的价码是 2.47 美元，写进博客还能博一笑。
换到生产环境呢？自动扩缩容、失败批量重试、事件触发的 fan-out——词换了，骨头还是那一根。你让一个不会说「我不知道」的东西去动那些配置，第一次大促它就敢给你表演点什么。
模型不接电话。接账单的是你。
本期教训：别指望 agent 自己知道什么时候该停。预算和并发上限，得由人写死在外面。额度烧完就是烧完了，没有第二次商量。
那张 10 美元的优惠码够用——前提是它没先把你的余额当柴烧了。