速评：dev.to 上那篇讲 human-in-the-loop 的文章发了，正文写得规整，真东西在评论区。
作者列了四个失败模式：什么活都往人工队列里灌、审核界面只给答案不给依据、拒绝比批准麻烦、根本没人测审核员的行为。四条我都认。但四条加起来也只是症状清单，病根一句话：在绝大多数系统里，那个被放进环路的人，既不为批错付钱，也不为漏掉付钱。
340 项的队列，第 40 项开始只看第一行，第 120 项开始跟着节奏点批准。这算不上什么惊人发现，任何一个在流水线上待过三天的人都能预言这个结局。作者说注意力是整个流程里最稀缺的资源——对，但还不够狠。真正的问题是：那 340 项里批错一项，会怎么样？
发票那个例子更能说明问题。97% 准确率，一天 300 张，大概 9 张是错的，两周之后 override 率掉到接近零。我看到这组数字的第一反应不是"审核员麻木了"，是"这活儿谁干都会麻木"。为了抓 9 张，得把 291 张正确的重看一遍；抓对了没人记功，抓漏了按多数公司的考核方式也未必有人罚。理性人当然一路点通过。
写到这我顺手翻了下自己上周给一个内部工具点的"通过"，三十几次，一个没细看。
别误会，我不是替审核员说话。人被放进流程、后果没被放进他的账本，他就退化成一个按钮。
界面那条也一样。模型从 22 页的贷款文件里抽出年收入 84,000，界面上就摆着这个数字，人要么从头核一遍，要么信它。第一次第二次认真翻，第三次就开始点。这不是意志力问题，是界面在定价——它把"核实"的标价定得比"相信"贵十倍，然后奇怪为什么没人核实。把源文档的高亮片段、影响评分的字段、触发升级的规则摆出来，核验才有可能变成一瞥。
还有一条我特别服气：拒绝要填六个必填字段，批准只要点一下。这种情况下系统在教审核员做什么，不用猜。设计者以为自己是在设门槛，其实是在设方向。真想拦错，override 的路径得跟批准一样便宜，然后把原始输出、改了什么、谁改的、什么时候，全记下来。这份日志后来还能当校准阈值的数据集用，一举两得，可惜多数产品只做了前半截的一半。
评论区那句银行支付授权的对比，是整场讨论里最锋利的一刀。银行的反欺诈检查为什么几十年了还真管用？不是界面做得好，也不是抽样科学——是那笔钱是银行自己的，审错了银行赔。内部第二签名为什么一到忙季就成走过场？签字的人不承担后果，他承担的只是"流程走完了"这个状态。
这条一摆出来，正文那四条失败模式就得重排。不是注意力分配问题，是激励结构问题。作者在回复里也承认了这点，承认得挺老实：如果质疑的成本比批准高，缩队列、改界面都动不了行为。
那路由、抽样审计、override 日志这一套还有没有意义？有，但用法得换。
路由调的是量，不是质。你把 97% 的明显案例摘出去，剩下 3% 是难例，而难例恰恰是审核员最没能力判断的那批。评论区里有人说得很准：剩余队列缺陷率更高，未校准的 softmax 又把误报送上来，人还是按节奏批。你说这是升级，我看是把一个大橡皮章换成一个小橡皮章。
这剧本，眼熟。有人提注入已知错误测捕获率，思路没错，但能造的种子只能是"明显错"。明显错会被发现，这事不用测我也知道。要有信息量的种子，得是接近真实队列的边际案例；可你造不出边际案例，恰恰因为你还不知道边界在哪。用一个待校准的判断力去校准它自己，这不是工程问题，是逻辑问题。
所以能落地的，只剩行为信号和那个 5% 的抽样基线。
override 率长期接近零不是好消息，是警报。要么阈值把太多明显案例送进人工，要么队列已经没人真在看。作者说这种情况先查，别自动调高抽样率——这句是全篇最像真干过活的人说的话。自动调高等于先假定"override 低＝审核员松懈"，可 override 低也可能是模型真变好了、路由真拦住了。
抽样真正测的不是模型，是阈值今天还站不站得住。而且它有个别的方案都没有的性质：等所有人都摸清了阈值边界，只有随机抽样还在测那些没被摸到的地方。这话是评论区来的，比正文里任何一段都值得抄进设计文档。
我不太信 HITL 这个词。它把一件组织问题包装成一件工程问题，于是解法永远是加一个复核框。复核框从来不是安全网，是责任转移的单据——出事的时候可以指着它说，这一环有人看过。
要让环里真有个人，得让他的钱、他的名字、他的考核指标跟批错绑在一起。做不到，路由再细、界面再友好、日志再全，也只是从每天点 340 次变成每天点 12 次，点得更心虚一点。
这里立个 flag：接下来一年，会有一批产品悄悄把"人工复核"从官网文案里换成"自动处理 + 定期抽检"。不是因为想明白了，是因为养那个队列的成本在涨，而"有人工审核"能换来的合规好感在跌。等它们发公告的时候，回来翻这条。
上次我也这么预测过一家把限免砍掉，结果人家硬撑了一年半。方向对，时间错，这次先记着。
至于作者文末那个问题——你们队列的 override 率是多少——我的答案是：大部分团队不知道，因为没人埋那个点；埋了的人里，又有一半看到了数字不敢往上递。