盲审表这个设计，是这个项目最诚实的部分，也是最可疑的部分。
项目叫什么我就不重复了，开源、ADS-B、Daytona Beach 那一片的训练进近。方法很直白：切出单次进近、剔掉坏报文，用下沉率和速度两条规则去标潜在的 unstable approach，然后生成一份盲审表，让教员独立评，再把机器标的东西和人的判断对照。下一阶段，说要用专家判断来校准规则。
值得停下来想的是最后这半句。
“用专家判断校准规则”，这句话里藏着一个默认：专家判断是准的。规则向它回归，靠近它就是变好，远离它就是变坏。
但专家判断凭什么准。
不是抬杠。是说这个项目自己的设计，其实已经承认了这件事不天经地义。不然为什么要做盲审。
盲审的全部意义，是让评审者彼此看不到对方的答案。看不到，才可能暴露分歧。如果专家判断天然一致，盲审就是多余的，随便找一个人看一眼不就完了。做盲审，恰恰是因为设计者知道：同一条轨迹，两个教员可能给出不同的判断。
问题在这里拐弯：既然分歧可能存在，那一致性的高低，就是这个项目里最该被测量的东西。
清单里我找不到这个数字。
72 次进近被选入教员复核范围。公开材料没说谁评的、几个人评、评了几轮。¹
我猜不少人读到这儿会觉得这是个疏漏。不一定。这可能就是方法论层面的空档。
想一个最坏的情形。如果盲审表最后只收回一份呢。那所谓“专家判断”就退化成一个人的判断。一个人对一次进近的判断，不是标准，是一个样本，而且是一个没有误差棒可言的样本。
这个假设未必成立，清单确实没写。但即使收回五份，只要没人报一致性，这五份判断的离散程度照样是黑箱。五个人全同意，和五个人四比一，是两种完全不同的“专家判断”，到了下游的规则校准里，它们却会被当成同一件事。
这就不是细节问题了。
你可能会反对说：教员都是持证的，飞了几千小时，判断差不到哪去。
这话对一半。教员对“这是不是一次糟糕的进近”大概有共识。但项目要的不是这个，它要的是边界。下沉率超过多少算不稳、速度偏离多少算不稳，这些卡在阈值附近的样本，恰恰是最容易分歧的地方。
清单里有一条可以佐证。初始数据 105 次进近，只有 7 次被至少一条规则标记。其中一架 Cessna 172S，速度规则和下沉率规则同时亮了。²
这条双触发的样本，就是典型的边界情形。两条规则都亮，人怎么看。如果两个教员对这条判断相反，一个说确实不稳，一个说这只是训练里正常的颠簸，那这条样本对规则校准就是双向拉扯的。拿它去调下沉率阈值，方向是矛盾的。
所以真正的问题不是“专家判断准不准”。
真正的问题是：专家判断之间的一致性能不能被测出来，测出来之后，到多少才算够。
这里我得诚实一点，这个“够”我也还没想清楚。kappa 0.6 算中等，0.8 算强，这种硬指标在临床诊断里常用，搬到飞行训练里合不合适，我不知道。³ 但有一件事我比较确定：不测，就等于默认了一致性无限高。而默认一致性无限高，和默认专家判断就是标准，是同一件事的两面。
顺便说一句，一致性高也未必是好消息。
五个教员对那 72 次进近几乎完全一致，这可能说明判断力稳，也可能说明他们被同一套训练标准、同一所航校的文化塑得太整齐。整齐本身不等于判断力。这事儿跟模型校准有点像：一个模型对很多问题答得又自信又一致，结果全错。一致只是方差为零，不对应正确。
再往前推一步。
如果一致性测不出来，或者测出来不够高，这个项目该怎么办。
我的答案有点反直觉：把专家判断从“答案”降级成“又一个信号源”。
换句话说，教员评审判定不稳定，和速度规则亮红灯，在认识论上是同一层级的东西，都是对同一条轨迹的一种读数，都有误差。规则校准不该对着其中一个读数回归，该看两个读数在哪儿错开。
这个转向听着小，其实改了项目的目标。原来的目标是“让规则学会像教员一样判断”，改过之后是“搞清楚规则和教员在哪些情形下看法不同，那种不同意味着什么”。
前一个目标预设了教员是对的。后一个不预设谁对。
如果你觉得后者听起来软，可以回头看一眼评论。Anh Nguyễn Văn 那条讲的是阈值设太紧会制造大量干扰性告警。这话的潜台词是：告警的价值不在准确，在有用。而“有用”这件事，单靠一条 ground truth 定义不出来，得看告警和人的判断在什么条件下合流、什么条件下分岔。
还有件我一直没说的事：地速受风影响。
项目自己提了，ADS-B 有局限，地速不是空速，风一吹读数就偏。这不小。同一条进近，顺风和逆风下的地速差出去一截，速度规则的触发点就跟着漂。几个教员看同一条轨迹，一个注意到了当天的风，另一个没注意，两人判断不同，这未必是判断力差异，可能是注意力分配不同。
这条我本来想展开，但越写越觉得它其实是同一个问题的另一面：你把人的判断当基准之前，得先知道这个基准的方差从哪来。风向是一个来源，教员之间的一致性是另一个来源。前者项目提了，后者没提。
说到这儿，开头那个“最可疑”的说法要收紧。盲审表不是漏洞，它是一个正确的设计。问题不在设计，在报告。
独立评审、机器标记和人对读，这些都对。缺的是把评审结果本身当成一个可观测量报出来。
如果我对，那下一阶段那份校准报告里，最先出现的数字不该是规则准确率，该是教员之间的一致性。哪怕只是一个粗糙的分歧率。
一个开发者不报这个数，两种可能：没测，或者测了不好意思报。两种都不好。
最后留一个可以验证的推演。下次你路过任何一家航校的飞行准备室，随便问一句：你们这几位教员，对同一条进近的判断一致吗，一致率大概多少。
我打赌没有一家能立刻给出这个数。不是他们不专业，是这个数从来没人要求他们报。
整个行业把“专家判断”当标准用了很多年，却很少问这个标准自己的分布长什么样。这个项目只是把这个习惯搬到了 AI 上，搬得很自然，自然到没人觉得需要问。
而值得想的，恰恰是那个没人问的问题。
¹ 这不是说项目方一定没做。是说公开材料里没写，而这件事本身对结论的影响很大。
² 双触发也可能只是两条规则都很灵敏，不代表这条样本一定难判。但它是清单里唯一一条明确说两条规则同时亮的样本，拿它当边界情形来想比较自然。
³ kappa 这类指标本身也有争议，样本少、类别不平衡的时候数值会失真。我这里只是借它说明“一致性有程度之分”，不是推荐拿它当唯一标准。