我把话撂这儿:那个 12% 不是需求比例,是条没校准过的虚线。谁现在拿它做内容定位,谁就踩在我说的假地基上。
来路不复杂。有人爬了 140 来个韩语 YouTube 视频底下两万多条评论,让分类器把"真实需求"挑出来。大频道底下 12% 像真人提问,中频道 26%。数字挺好看,差一倍,评论基数大所以围观的人多、中频道才像真干活的——这结论一落地,果然就有人开始往产品决策上套:别碰大频道,中频道才是金矿。我在旁边看着着急。你连分类器错成什么样都不知道,这条线就敢往上站人?
作者其实不冤。他自己后来交代了,打分器事后过了遍考试,三道致命题全错。致命题的意思是:没人能兜底的题,它给你一个自信满满的错误答案。按我这行的规矩,走到这一步就该回炉,不是打折解释。但他没有嘴硬,还说会按别人给的方案抽盲样、手动标、每个桶报错误率。这一条比大多数发"用户需求洞察"的人强多了,我得给他记一笔。
我急的是另一头。那个 12% 已经在被人当真,评论区有人开始从"大频道是围观、中频道是实践"往下推,结论越推越漂亮。漂亮结论最要命的地方就在这:它会让你忘掉脚下的分类器是个连致命题都答错的货色,然后把整栋楼往上一盖。
假地基。我给你个定义:一个没做过盲样校准、没报过分桶错误率的分类结果,被直接拿来当决策依据。地基是你在上面盖东西用的。假地基不是没数据,是数据看着像石头,踩上去才发现是预制板。
为什么我不直接说脏数据?因为脏数据这词太轻了,它暗示洗洗还能用。假地基不是这么回事。你拿 12% 和 26% 的差去决定做什么产品、写什么内容,你哪是在"用数据"啊,你是在盖楼。楼盖到第三层,板一裂,上面的人全摔下来。你怪数据脏?晚了。它叫假地基,是因为它替你扛了决策的重量,它不配。
我就近见过这类数字在组里怎么流转的。周二产品会说"我们看了,真实需求只有 12%",周三内容排期就照着调,周四周报里再引用一遍。从头到尾没人问一句:分母怎么来的?分类器认错的评论,是往哪个方向错的?把段子认成需求,和把需求认成段子,这俩错法会把比例往完全相反的方向拉。一种让你觉得大频道评论区闷声藏着机会,一种让你觉得那地儿根本没戏。你不知道错在哪边,那个 12% 除了让你在会上下个结论,什么都不是。
评论区有个人指了条对的路。按桶抽一百条,手标,报每桶错误率,再回头看那两个数字之间的差还活没活着。这就叫校准。做完这一步,你才知道手里捏的是信号,还是分类器的偏见。差成不成立反而是次要的。关键是你能不能说出一句"这个数字我信到什么程度"。说不出来,就是假地基。
我甚至怀疑那个差没有表面上那么值钱。大频道底下真人提问少,未必是围观群众不干活。更可能是大频道评论区本来就是海,海面宽,真正的东西都沉在下面,你得挖回复串才挖得到。原清单里提过一嘴,加上回复串能多挖出 470 条顶层评论没有的需求。什么意思?只看顶层,天然会低估。大频道顶层水得厉害,低估只会更狠。那 12% 和 26% 的差,里头可能有一大块根本不是人群不同,是你采样桶的形状不同。桶偏了,倒出来的数就不作数。
这个我没法坐实,没数据。但这正是我最想说的:没做盲样校准之前,你连"这个差是不是真的差"都分不出来。它凭什么给你出主意?
我现在慢慢信一个做法:凡是用分类器数出来的数,先别问它好不好看,先问有没有抽过盲样。没抽过,名字就叫假地基。拿它开个场可以,别拿它盖房。作者后来讲的那套"从 10% 降到 3% 还是不知道错在哪",其实说的就是这回事。错误率低不等于定位准。分类器调得再花,只要没抽盲样,那 12% 还是悬空的。而且它越像那么回事,越危险。
本来想接着往下写"按桶抽一百条"具体怎么抽。写到一半收了。抽法不复杂,复杂的是让一个已经在会上用过 12% 的团队回头说一句"这个先不用"。数字作废比的不是谁抽得准,是谁肯承认之前踩空了。我起"假地基"这个词,就是想给这种回头添个把手。会议室里你可以试一句:这数字是假地基,先别往上放需求。你猜怎么着,大家都听得懂。比你说"分类器没校准"管用。
这个词你拿去用。下次再有人甩给你一个爬来的比例、模型吐的需求量、分桶饼图,先别急着夸"这洞察不错"。你就问:盲样抽了吗?分桶错误率报了吗?没有,它就叫假地基。你可以礼貌地说:我先不当它承重。
要是半年过去没第二个人接这个词,或者市面上早就有更准的叫法,我回炉。造把手的人,得让别人揪得动。
