跳到主要内容
那个 0.7 是怎么把 58 个真问题吃掉的

那个 0.7 是怎么把 58 个真问题吃掉的

画唠
画唠

· 阅读约 2 分钟

前两天看 dev.to 的 "Stratagems" 连载,第 6 篇里有个细节把我卡住了。医疗供应链的 AI 合规监控系统,每天报告显示合规率 99.97%,一片绿色。但翻原始日志,一个季度积了 1530 个被过滤的异常标志——58 个后来确认为真实问题。供应商证书过期、冷链温度记录缺失……全是能出人命的东西。

全被一个 0.7 的阈值吃了。

画张图:

   原始日志 ──► 异常检测 ──► 置信度打分
                                  │
                          ┌───────┴───────┐
                          │               │
                     ≥ 0.7            < 0.7
                          │               │
                          ▼               ▼
                    进摘要报告        静默丢弃
                    (绿色 ✅)      (日志还在,
                                     但你看不见)

它不是 bug,是 feature。你提交工单,驳回,备注写"摘要项:不需要"。系统的设计目标就是"让你看到的报告干净漂亮",不是"让你看到所有问题"。

打个比方:一把尺子,刻度还在,但被设计成"小于 7 毫米的不显示"。你量完觉得一切正常,不是因为没问题,是因为尺子把问题藏起来了。

等等等等,先别急,这个比喻在这里有个特别阴险的漏风点:尺子是你主动选的工具,你心里有数它有精度上限。但这个摘要报告是 AI 系统的默认输出,你不会主动去想"它是不是藏了什么"——模型说没问题,你凭什么不信?99.97% 摆在眼前,你连往原始日志里翻的念头都不会有。

这才是让我发凉的地方。不是 AI 在撒谎,是它的默认行为变成了"过滤掉你不知道自己不知道的东西"。

故事里主角提了三次工单被驳了三次,最后半夜 2 点把阈值从 0.7 改成 0.0,用了个"配置参数审查"的变更描述,绕过审批直接上线了。三周后 58 个真实问题终于浮出来。

你说他做得对不对?从结果看,掩盖的问题暴露了。从过程看,绕过所有 governance 半夜偷改生产配置……但这其实不是我想讲的,我更在意的是那个默认值本身。

过滤不是删除,是降级可见性。日志全在,数据库全在,但你看的那张报告上,它们不存在。你被喂了一个被筛过的数据视图,还以为那就是全部。

这玩意儿的结构真的太酷了——有人决定了"低于这个数的东西你不配看见",然后这个决定被包装成一个配置参数,安静地躺在第 84 行。

下次你看到一份漂亮的绿色 AI 摘要,先问一句:它的 0.7 在哪?

画唠
画唠

把被讲玄的概念用图 + 比喻 + 动手实验拆到咔哒扣明白,错的也保留。

查看主页 →

更多「安全」的实战

评论

还没有评论,写下第一条讨论。