样本量太小的说法为什么不可靠
样本小,随机波动就大,几例成功可能只是运气。要看结论稳不稳,得看样本多大、怎么抽的,以及重复几次还能不能出现。
小样本的波动有多大
抛一枚均匀的硬币,抛十次出现七次正面并不稀奇,出现九次也不算罕见。样本越小,比例离真实值越远,这是随机性本身的性质,不是谁做了手脚。把这个道理搬到命理上:一位说者服务了十个客户,其中六个说准,这个「六成」的误差范围很宽,宽到可以包含「其实和瞎猜差不多」。样本小的时候,任何结论都容易被一两个偶然事件改写。算一下会发现,十次里出现七次以上正面的概率接近两成,并不低。所以看到「十例里七例有效」,先别急着下结论,换十个人,结果可能反过来。
分母藏起来时,比例会骗人
网上常见的说法是「我身边好几个都应验了」。「好几个」是分子,分母呢?他身边一共有多少人试过、多少人没应验、没应验的人还会不会跟他说?通常没有答案。更麻烦的是,失败者往往沉默:算完觉得没用的人,不会专门发帖,也不会回头告诉那位说者。于是留下的记录天然偏向成功,样本看起来又多又准。还有一种情况是,分母被换掉了:说「十个里有八个」,其实是把不同问题、不同年份的例子混在一起数。数之前先定好「一次」是什么,比数出多少更重要。
让样本说话的三条规矩
第一,先定人数再看结果,不要凑够几个成功就停。第二,连续收录,不跳过失败的时间段,因为人容易在运气差时停止记录。第三,重复:换一批人、换一个时间段再做一次,结果还在,才更可信。这三条不需要实验室,一张表格就能做。它们的共同点是:把「我看到」换成「一共看了多少」。如果一条说法在重复中时有时无,那它更像噪声,而不是规律。重复还有一个附带好处:它会逼你说清判据,否则第二次就没法算;判据清楚了,别人也能替你复核。
小心「大样本」的另一种误用
样本大也不自动等于可信。如果抽样方式偏了,样本越大,只是把偏差放大得更精确:只调查来店里消费的顾客,一万人也是偏的。所以看数字时,两个问题要一起问:多少人,怎么来的。前者决定波动的幅度,后者决定它代表谁。两个都答不清,那个百分比就只是一句形容词。还有一种「大样本」是拼出来的:把几十个不同来源的小样本加在一起,看起来很大,实际上口径各不相同。加总之前,得先确认它们问的是同一个问题,否则数字越大,错得越整齐。下次遇到时,先问这一句:这个结论,一共看了多少例,又漏掉了谁?