5.2.2 假设检验：先提出需要检验的假设，再收集证据

5.2.2　假设检验：先提出需要检验的假设，再收集证据

对于男性和女性的身高差异，通常有两种说法。第一种说法是“男性比女性高”，这种说法在日常生活中其实并没有问题，是因为这是一种“概率性”的说法，代表的是“大多数男性比大多数女性高”。第二种说法是“所有男性都比女性高”，这种说法则是有问题的，毕竟世界上存在着许多女性比男性还要高的情况。

世界上并没有那么多的绝对，所以在互联网公司，也经常使用“概率性”的说法，而很少在数据层面给出绝对100%正确的判断。

所谓“概率性”，是指某个因果关系大概率成立，所以在工作中我们不说“如果你打了流感疫苗，100%不会得流感”，而是说“如果你打了流感疫苗，95%的概率不会得流感”，这里的95%是我们接下来要介绍的置信度，也就是“不得流感”这件事情发生的概率是95%。

现在问题来了，我们如何验证这句话中的95%是真是假呢？为什么是95%？有没有可能是其他的数值，比如50%？所以，我们需要去验证假设。

记住，我们在试图验证这个命题真伪的时候，顺序是“先提出需要检验的假设，再收集证据”，而不是“先收集证据，再提出所要验证的假设”，切莫本末倒置。

现在我们开始验证假设，换一个更容易理解的问题——硬币问题。众所周知，每一个硬币抛出正面和反面的概率是50%，但是由于铸造工艺和使用损耗，部分旧的硬币质量分布不均，导致正面或者反面更容易出现。现在我们的问题是，如果给定一枚硬币（不知道硬币质量是否均匀），如何检验硬币是否存在问题？我们的方法是先建立假设，再收集证据。

●建立假设：在搜集数据之前，我们把想证明的结论写成备择假设，把想拒绝的结论写成原假设。这种建立假设的方式是统计学家的智慧（《女士品茶》一书详细地介绍了原因），要想证明硬币的正反面有问题就必须假设其没有问题。如果我们通过反证法证明了“硬币的正反面没有问题”的概率很低，也就说明了“硬币的正反面有问题”的概率很高。

●收集证据：理想态是进行无限次的随机抛掷，并记录下每一次的正反面结果。

所以，我们的原假设和备择假设如下。

●原假设（一般写作H0假设）：硬币的正反面没有问题。

●备择假设（一般写作H1假设）：硬币的正反面有问题。（备择假设是原假设的否命题，备择假设的概率与原假设的概率之和为1。）

在收集证据时，尽管理想态是无限次随机抛掷，但在现实环境下无法满足，所以只能进行有限次的随机抛掷。比如，现在我们想要验证硬币正反面是否有问题，则使用连续扔1000次硬币的方法搜集数据。

●情况1：如果正面反面各500次，凭直觉我们可以说，没问题。

●情况2：如果正面600次，凭直觉我们可以说，可能没问题吧？

●情况3：如果正面700次，凭直觉我们可以说，应该有问题，不应该正反面出现差距如此悬殊。

●情况4：如果正面900次，凭直觉我们可以说，肯定有问题！

人的大脑是存在直觉思维的，从情况1的正反面出现比例5∶5到情况2的6∶4，我们的大脑产生疑虑，但仍然无法确定抛掷1000次中600次正面是否有问题（毕竟生活中抛掷10次产生6次正面非常常见），但如果1000次中存在着700次正面甚至于900次正面，直觉告诉我们这个硬币的正反面是不均匀的。

那么问题来了，直觉的界限到底在哪里呢？随着1000次抛掷中正面次数的不断攀升，究竟从何处开始让我们察觉到硬币存在问题呢？

笔者曾经问过同事，有的同事回答说是600次正面时有问题，也有的同事说他的直觉是650次正面时有问题。笔者的答案是526次（95%置信度）。当笔者公布答案时，大多数同事觉得这和他们的直觉的差异很大。

让我们稍微调整一下问题，如果不是抛掷1000次硬币，而是抛掷10次、100次，又会产生怎样的心理活动呢？实验结果如表5-1所示。

表5-1　抛掷硬币的实验结果与可能的心理活动

通过这样的实验可见，两种因素干扰了我们的直觉判断，分别是抛掷的次数（记为N）、抛掷正面的比例（记为p）。

●如果抛掷的次数N越大，则根据大数定律，频率会越来越接近于概率，总之抛掷的次数越多越好。并且在抛掷次数过少时，我们无法根据抛掷正面的比例p判断硬币是否存在问题。

●抛掷正面的比例p越接近于50%（预期为正面的概率），我们越有把握认为硬币正反面没问题。

我们在概率论中已经学过，这类问题存在两种错误类型，如表5-2所示。

表5-2　实验结果与实际结果不符的两种错误类型

也就是说，一共可能存在两种误判，其中第一种误判是“抛掷数据不正常，硬币实际正常”，称为一型错误。比如抛掷1000次中501次正面、499次反面，虽然和预期的500次正面有所差异，但在容错范围内，是由随机性导致的。也可能是由于抛掷次数过少，比如抛掷了10次，其中2次正面、8次反面，但如果继续抛掷至1000次时可能会出现正反面次数接近的情况。第二种误判是“抛掷数据正常，硬币实际不正常”，称为二型错误。比如抛掷10次中5次正面、5次反面，但其实硬币可能存在问题，如果继续抛掷至1000次时可能会出现较大的正反面次数差距。

一型错误的概率在统计学上用来度量置信度水平，记为p。p为零假设成立的概率，（1-p）为置信度水平，比如95%置信度代表仅有5%的概率出现一型错误。二型错误的概率在统计学上用来度量统计功效（记为power）。

在A/B测试中，我们一般取置信度水平为95%，即零假设成立的概率p为0.05，同时统计功效一般取80%，即二型错误发生的概率为20%，以上是约定俗成的通用数值。

了解了两种错误的定义，下面我们来学习如何计算概率。继续以抛掷硬币为例，对于一个正常的硬币，在抛掷1000次时，出现800次正面和200次反面有没有可能？答案是有可能，但概率很低，当概率低于一定值（一般为0.05）的时候，我们认为原假设不成立。

所谓“假设检验”，是指计算某一个事件出现的概率，然后与置信度进行比较（一般取95%）。如果某个事件发生的概率低于5%，我们认为“信息已经足够了，理应推翻零假设，证实备择假设”，即“硬币的正反面存在问题”。

关于统计的相关问题推荐读者使用R语言进行求解。对于抛掷硬币的概率问题，属于伯努利分布（二项分布），使用程序可以知道在1000次抛掷中，出现400次正面的概率基本接近0，在接近526时达到95%的置信度。在Rstudio中输入以下命令进行求解，可以验证我们的观察结果是正确的。

> pbinom(size = 1000,q = 525,prob = 0.5)
[1] 0.9466252
> pbinom(size = 1000,q = 526,prob = 0.5)
[1] 0.9531564