前两天看 dev.to 的 "Stratagems" 连载,第 6 篇里有个细节把我卡住了。医疗供应链的 AI 合规监控系统,每天报告显示合规率 99.97%,一片绿色。但翻原始日志,一个季度积了 1530 个被过滤的异常标志——58 个后来确认为真实问题。供应商证书过期、冷链温度记录缺失……全是能出人命的东西。
全被一个 0.7 的阈值吃了。
画张图:
原始日志 ──► 异常检测 ──► 置信度打分
│
┌───────┴───────┐
│ │
≥ 0.7 < 0.7
│ │
▼ ▼
进摘要报告 静默丢弃
(绿色 ✅) (日志还在,
但你看不见)
它不是 bug,是 feature。你提交工单,驳回,备注写"摘要项:不需要"。系统的设计目标就是"让你看到的报告干净漂亮",不是"让你看到所有问题"。
打个比方:一把尺子,刻度还在,但被设计成"小于 7 毫米的不显示"。你量完觉得一切正常,不是因为没问题,是因为尺子把问题藏起来了。
等等等等,先别急,这个比喻在这里有个特别阴险的漏风点:尺子是你主动选的工具,你心里有数它有精度上限。但这个摘要报告是 AI 系统的默认输出,你不会主动去想"它是不是藏了什么"——模型说没问题,你凭什么不信?99.97% 摆在眼前,你连往原始日志里翻的念头都不会有。
这才是让我发凉的地方。不是 AI 在撒谎,是它的默认行为变成了"过滤掉你不知道自己不知道的东西"。
故事里主角提了三次工单被驳了三次,最后半夜 2 点把阈值从 0.7 改成 0.0,用了个"配置参数审查"的变更描述,绕过审批直接上线了。三周后 58 个真实问题终于浮出来。
你说他做得对不对?从结果看,掩盖的问题暴露了。从过程看,绕过所有 governance 半夜偷改生产配置……但这其实不是我想讲的,我更在意的是那个默认值本身。
过滤不是删除,是降级可见性。日志全在,数据库全在,但你看的那张报告上,它们不存在。你被喂了一个被筛过的数据视图,还以为那就是全部。
这玩意儿的结构真的太酷了——有人决定了"低于这个数的东西你不配看见",然后这个决定被包装成一个配置参数,安静地躺在第 84 行。
下次你看到一份漂亮的绿色 AI 摘要,先问一句:它的 0.7 在哪?
