第10章 小数定律
一项有关肾癌发病率的研究发现了一种非同寻常的模式，该研究涉及美国3141个郡。研究结果表明，肾癌发病率最低的郡大多在人口稀少的农村，位于中西部、南部和西部支持共和党的州。对此你怎么看？
Howard Wainer and Harris L.Zwerling, “Evidence That Smaller Schools Do Not Improve Student Achievement,”Phi Delta Kappan 88（2006）:300-303.这个例子也曾在以下研究中被讨论过：Andrew Gelman and Deborah Nolan,Teaching Statistics:A Bag of Tricks（New York:Oxford University Press,2002）。在过去的几秒里，你的思维非常活跃，主要是系统2在运作。你刻意搜索记忆并提出假设。你付出了一些脑力，瞳孔放大，心率明显加快。但系统1也没闲着，因为系统2的运作依赖系统1从关联记忆中提取到的事实和建议。你可能否决了共和党提供肾癌防治措施的想法，最终很可能关注的事实是：癌症发病率低的郡大多是农村。这个例子是诙谐的统计学家霍华德·魏纳和哈里斯·泽维林告诉我的。他们说：“人们很容易推断，癌症低发病率的直接原因是农村健康干净的生活方式——没有空气污染和水污染，能吃到不含添加剂的新鲜食物。”
这听起来很有道理。
现在来看一下肾癌发病率最高的郡。它们大多还是在人口稀少的农村，并且位于中西部、南部和西部支持共和党的州。魏纳和泽维林以玩笑的口吻说：“人们很容易推断，癌症高发病率的直接原因是农村贫困的生活方式——医疗条件差、高脂饮食、酗酒和吸烟。”这个说法当然有问题。农村生活方式不可能同时解释肾癌的高发病率和低发病率。
关键因素并非这些郡在农村，或属于共和党阵营，而是农村人口很少。我们从这个例子中学到的不是流行病学知识，而是思维和统计数据之间不协调的关系。系统1对一种思维形式驾轻就熟——它可以自动而轻松地识别事件之间的因果关系。有时，这种关系站不住脚，系统1却照做不误。当你得知存在癌症高发区时，你就会立刻认定这些郡与其他郡不同是有原因的，一定有个理由可以解释这种差异。然而，我们将了解到，系统1在“纯粹的统计”事实面前不胜其任。统计事实改变了结果出现的概率，但并非结果出现的原因。
根据定义，随机事件并不适合做出解释，但一组随机事件确实会表现得非常有规律。想象一个装满弹珠的大罐子，其中一半弹珠是红色的，一半是白色的。然后，想象一个非常有耐心的人（或机器人），从罐子里随意取4颗弹珠，记下红色弹珠的数量，然后将弹珠放回罐子，这样重复多次。总结结果，你会发现“2红2白”的频率为“4红”或“4白”的6倍（几乎精准）。这种关系是数学事实。你可以自信地预测从罐子中重复抽样的结果，就像自信地预测用锤子砸鸡蛋的结果一样。你无法预测蛋壳破碎的具体细节，但可以确定大致结果。二者的不同之处在于：想到用锤子砸鸡蛋时，你会感受到明确的因果关系，但想到从罐子里取样时，却没有这种感觉。
一个相关的统计事实与癌症的例子有关。两个耐心的计数员轮流从同一个罐子里取样。杰克每次取4颗弹珠，吉尔取7颗。每次取到同色弹珠，即全白或全红，他们都会记录下来。如果持续的时间足够长，杰克取到同色弹珠的次数会比吉尔多——二者的比例为8:1（期望概率分别为12.5%和1.56%）。这与锤子和因果关系无关，只是一个数学事实：相比每次取7颗弹珠，每次取4颗弹珠会更频繁地产生极端结果。
现在，将美国人口想象成大罐子里的弹珠。有些弹珠标记着肾癌的缩写KC。从罐子里依次取样，为各郡输入数据。农村样本比其他样本小。就像杰克和吉尔的实验一样，极端结果（非常高和/或非常低的癌症发病率）最有可能出现在人口稀少的郡。这就是原因所在。
我们的探讨始于一个需要原因的真实案例：不同的郡癌症发病率差异很大，而且差异是系统化的。我给出的是统计学解释：极端结果（高或低发病率）更可能在小样本而不是大样本中出现。这不是因果解释。某郡的人口很少，这既不会引发癌症也不会避免癌症，只会使其癌症的发病率比人口多的郡更高（或更低）。更深层的真相是，这一事实没什么可解释的。人口较少的郡，癌症的发病率并非真的比正常水平低或高，我们只是在特定年份得到了某个抽样结果而已。如果下一年重复这种分析方法，仍将在小样本中观察到同样的极端模式，但去年癌症高发的郡，今年的发病率不一定高。如果是这样的话，各郡人口密集度的差异不能算作真相，而是科学家所说的假象。观察结果完全是由研究方法造成的——在该例中，是由样本量的差异造成的。
上述说法可能会令你惊讶，但这并非启示。你早就知道，相比小样本，大样本的结果更值得信赖。即使不懂统计学的人也听说过大数定律。但是“知道”并非一个“是否”问题，你可能会发现以下说法也适用于你。
· 阅读流行病学报道时，你并没有立即想到“人口稀少”这个特点是相关因素。
· 面对4个样本和7个样本之间的结果差异，你有些吃惊。
· 即使现在，你也需要费些脑力，才能明白以下两种说法的意思完全相同：
（1）大样本比小样本更精确；
（2）小样本比大样本更易产生极端结果。
第一句是事实，但只有当第二句成为你的直觉时，你才算真正理解了第一句。
结论是：你确实知道大样本的结果更精确，但现在你可能意识到自己的理解仍然有限。不仅你一人如此。我和阿莫斯合作的第一项研究表明，即使是经验丰富的研究人员对抽样效应也缺乏直觉，理解得也不透彻。
20世纪70年代初，我与阿莫斯的合作始于一场讨论。讨论的话题是：未受过统计学训练的人是优秀的“直觉性统计学家”。这个话题是在我组织的研讨会上，他向密歇根大学的研究人员谈起的，这些研究人员对直觉性统计思维都持乐观态度。对此我有不同的看法：那段时间，我发现自己不是一个优秀的直觉性统计学家，而且我不认为别人比我好到哪里去。
对于研究型心理学家来说，抽样变异性并不新奇，它是一个麻烦，一个代价高昂的障碍，让所有研究项目变成一场赌博。假设你想证明，平均而言，6岁女孩的词汇量大于同龄男孩。该假设在总体中是成立的，女孩的平均词汇量确实较大。然而，女孩和男孩的差异很大。运气使然，你选择的样本差异不明显，甚至男孩的词汇量更大。如果你是研究人员，那么这个结果的代价太高了，因为你浪费了时间和精力，却无法证实一个正确的假设。使用足够大的样本是降低风险的唯一方法。选择小样本的研究人员只能任由抽样运气摆布。
Jacob Cohen, “The Statistical Power of Abnormal-Social Psychological Research: A Review,”Journal of Abnormal and Social Psychology 65 (1962): 145-53.一个很简单的步骤就能估计任何给定样本量的误差风险。但依照惯例，心理学家不使用计算来确定样本量，而是凭自己的判断。这么做往往是错的。在与阿莫斯辩论前不久，我读到一篇论文，论文通过一个引人注目的观察结果展示了研究者犯的错（他们现在仍在犯这种错）。论文作者指出，心理学家选择的样本通常太小，以至于有50%的风险无法证实其正确假设！任何一个理性的研究者都不会接受这样的风险。合理的解释是，心理学家对样本量的选择，反映出人们对样本变异程度普遍的直觉性误解。
这篇论文让我震惊，因为它解释了我在自己的研究中遇到的问题。与大多数研究型心理学家一样，我选择的样本量通常太小，导致实验结果毫无意义。现在，我知道原因了：这些奇怪的结果实际上是我的研究方法造成的人为现象。我的错误尤其令人尴尬，因为我教过统计学，知道怎样计算样本量，以便将失败的风险降到可接受的水平，但我从未通过计算来确定样本量。和我的同事一样，我在做实验计划时相信传统方法和直觉，从未认真思考过这个问题。阿莫斯参加研讨会时，我已经意识到我的直觉是有缺陷的。在研讨会召开的过程中，我们很快达成共识——密歇根大学的乐观主义者是错的。
为了检验我是不是唯一做蠢事的人，我和阿莫斯开始测试作为数学专家的研究人员是否会犯类似的错误。我们设计了一份问卷，描述了各种真实的研究情境，包括一些成功实验的复制情境。我们要求研究人员选择样本量，评估其决定带来的失败风险，并为做研究计划的虚拟研究生提供建议。在数学心理学协会的某次会议上，阿莫斯收集了这些专家的答案，专家中包括两本统计学教材的作者。结果一目了然：我并非唯一做蠢事的人。大多数调查对象都犯了我所犯的错误。显然，即使是专家也没有充分重视样本量。
Amos Tversky and Daniel Kahneman, “Belief in the Law of Small Numbers,”Psychological Bulletin 76 (1971): 105-10. 我们在直觉和计算之间做对比似乎预示着系统1和系统2之间的区别，但从本书的角度看，研究依然任重道远。我们用直觉（即得出结论的任何非正式方式）来处理计算之外的所有事情。我和阿莫斯将合写的第一篇论文命名为《盲信小数定律》。我们开玩笑地说，“对随机抽样的直觉似乎符合小数定律原则，即断定大数定律也适用于小数量的情形”。我们还强烈建议研究人员，“适度怀疑统计直觉，尽可能用计算取代印象”。
自 信 甚 于 质 疑 的 偏 见
一项针对300位老年人的电话民调显示，60%的受访者支持总统。
如果只能用三个词总结这句话，你会怎么说？你很可能会说“老年人支持总统”。这三个词似乎抓住了重点。但该项电话民调的样本量为300，这些细节被忽视了，人们对此不感兴趣，也很少注意到它们提供的背景信息。即使样本量发生变化，你的总结依然如故。当然，完全荒谬的数字肯定会引起你的注意（比如“一项针对6名或6000万名老年选民的电话民调显示……”），但除非你是专业人士，否则无论样本量是150还是3000，你的反应都不会有太大差异。这就是“人们对样本量不够敏感”的含义。
有关民调的消息包含两类信息：故事本身和故事来源。很自然地，你会关注故事而非结果的可靠性。然而，当可靠性明显较低时，消息就会失去可信度。比如，有人告诉你“某党派团体进行了一项漏洞百出、带有偏差的民调，以表明老年人支持总统……”，你当然不会接受民调的结果，也不会信以为真。相反，党派民调及其虚假结果将成为有关政治谎言的新故事。在显而易见的情形面前，你可以选择拒绝相信某则消息。但倘若有人告诉你“我在《纽约时报》上读到的……”“我在饮水机旁听到的……”，你能敏锐地辨别二者的不同吗？你的系统1能区分它们的信念度吗？“所见即一切”原则表明，系统1做不到。
如前所述，系统1不擅长质疑。它会抑制歧义，自发地创建尽可能自圆其说的故事。除非消息被立即辟谣，否则联想的内容就会像真事儿一样扩散开来。系统2擅长质疑，因为它允许互相矛盾的多种可能性同时存在。然而，相较于倾向确定性，保持质疑的难度更大。小数定律体现出一种普遍偏见，它倾向于确定性而非质疑。在接下来的章节中，我们将看到这种偏见的多种表现形式。
人们有一种强烈的偏见，就是相信小样本近似于抽样总体。这种偏见包含在一个更严重的问题之中：我们倾向于夸大所见事物的一致性与连贯性。研究人员过分相信从少量观察中可以学到一些东西，这一现象与光环效应密切相关。光环效应是指我们自以为对某人知根知底，实际上却知之甚少。在事实发生之前，系统1就根据零星证据构建出丰富的意象。妄下结论的机器，运作起来像是对小数定律深信不疑。更普遍地说，系统1会制造出过分自洽的现实表征。
原 因 与 概 率
关联机器寻找原因。掌握统计规律的困难在于，需要运用不同的方法。统计学思维关注的不是当前事件是如何发生的，而是本来可能发生什么。这件事的发生没有什么特殊原因——它是各种可能结果中的一个偶然。
在评估随机事件的随机性时，对因果思维的偏好会铸成大错。以在医院依次出生的6个婴儿的性别为例，男女出生顺序显然是随机的，这些事件相互独立，前几个小时出生的男婴和女婴数量并不会影响之后出生的婴儿性别。现在考虑三组可能的序列：
男男男女女女
女女女女女女
男女男男女男
它们出现的概率相同吗？直觉性答案是“当然不同”，但这个答案是错的。由于事件是独立的，而且男女的出生可能性（大致）相等，因此任何一组6个婴儿的性别序列都有与其他序列相同的概率。即使现在你知道这个结论为真，它仍然违反直觉，因为只有第三组序列看起来是随机的。不出所料，人们判断第三组序列出现的概率比其他两组更大。我们寻求规律，相信世界是连贯有序的，认为规律（比如6个女婴的序列）的出现并非偶然，而是机械的因果关系或人为的结果。我们并不期待在随机过程中看到规律。觉察到某个可能的规则时，我们很快就会推翻“过程是随机的”这一想法。随机过程产生了许多序列，让人们相信过程完全不是随机的。人们假定因果关系是存在的，这可能具有进化优势，你可以理解其中的原因——它是我们从祖先那里继承的某种警觉性。我们会在潜意识中留意环境变化的可能性。平原上随时可能有狮子出没，注意到狮子出没率的明显增长并做出反应会让我们更安全，即使这种增长不过是随机过程波动的结果。
William Feller, Introduction to Probability Theory and Its Applications (New York: Wiley, 1950).对随机性的普遍误解有时会产生严重的后果。在我和阿莫斯的一篇代表性论文中，引用了统计学家威廉·费勒的观点，他举了一个例子，说明人们很容易看到并不存在的模式。第二次世界大战期间，伦敦遭到猛烈轰炸。人们普遍认为，轰炸不可能是随机的，因为地图显示轰炸点之间有明显的距离。有人怀疑德国间谍潜伏在未被轰炸的地区。一项严谨的统计分析表明，轰炸点的分布是典型的随机分布，但它让人产生了强烈的非随机印象。费勒说：“在未受过统计训练的人眼中，随机性看起来就像规律或者聚集倾向。”
我很快就有机会运用从费勒那儿学到的知识。1973年，赎罪日战争爆发。我对战争只做出过一次重大贡献，那就是建议以色列空军的高级军官停止一项调查。战争初期，由于埃及地对空导弹的高效打击，以色列空军损失惨重，而且损失分布不均。有人告诉我，从同一基地起飞的两个空军中队，其中一队损失了4架飞机，另一队一架也没损失。调查小组想了解这个不幸的中队有什么过失。事前，没有证据表明哪个中队的作战能力更强，也没有发现操作上的差异。当然，飞行员的生活在许多方面有所不同，包括他们在任务间歇回家探亲的频率，以及汇报任务的方式。我的建议是，指挥部应该承认不同的结果是运气使然，停止对飞行员的调查。我推断，运气是最可能的答案，盲目寻找不确定的原因无济于事。而且，接连受挫的飞行员不需要背负额外的负担，为自己和阵亡的战友感到愧疚。
Thomas Gilovich, Robert Vallone, and Amos Tversky, “The Hot Hand in Basketball: On the Misperception of Random Sequences,”Cognitive Psychology 17 (1985): 295-314.几年后，阿莫斯及其学生汤姆·吉洛维奇、罗伯特·瓦隆对篮球运动中的随机性误解进行了研究，引发了轰动。球员、教练和球迷都认同一个事实，那就是球员偶尔会出现“热手”现象。这个推论是不可抗拒的：如果球员连续投进三四个球，你会忍不住形成一种因果判断，即该球员现在手气很好，得分率会增加。两支球队的球员都会根据这一判断做出调整——队友更有可能将球传给得分高手，而对方球员更有可能对其进行双人防守。然而，对数千次投篮序列进行分析之后，结论令人失望：在职业篮球比赛中，无论是接球投篮还是罚球投篮，都不存在“热手”现象。当然，有些球员投篮准确率高于其他球员，但投中和失误的顺序符合所有随机性检验。“热手”现象完全是旁观者的自以为是，他们的判断总是过快，无法在随机性中发现秩序和因果关系。这是一种严重而普遍的认知错觉。
公众对这项研究的反应是新闻报道的一部分。媒体之所以报道，是因为研究结论出人意料，大多数人的反应是难以置信。听到吉洛维奇的名字及其研究时，著名的波士顿凯尔特人队教练瑞德·奥尔巴赫说：“这家伙是谁？他是做了研究，但我根本不在乎。”在随机性中发现规律的倾向是无法抗拒的——相比之下，这项研究给人的印象当然微不足道了。
不只是在篮球场，规律错觉在很多方面影响着我们的生活。要经过几年的考验才能确定投资顾问技高一筹？首席执行官要完成多少次成功收购，董事会才能相信他在这方面天赋异禀？这些问题的答案是，你如果遵循直觉，往往会将随机事件错误地归为系统性事件。生活中见到的很多事都是随机的，但我们倾向于否认这种信念。
本章开头以美国的癌症发病率为例展开探讨。这个例子在一本统计学教师用书中出现过，但我是从之前引用的一篇有趣的论文中了解到的，作者是统计学家霍华德·魏纳和哈里斯·泽维林。论文关注的是一笔约17亿美元的巨额投资，这笔投资是盖茨基金会赞助的，目的是跟进关于最成功学校特征的调研结果。很多研究人员都在探索成功教育的秘诀，他们找出最成功的学校，希望发现其独特之处。其中一个研究结论是，一般而言，最成功的学校规模都很小。例如，在对宾夕法尼亚州1662所学校进行的一项调查中，排名前50的学校中有6所规模较小，这一比例是正常情况的4倍。数据鼓励盖茨基金会大量投资兴建小学校，或者将大学校拆分为小学校。至少有6家知名机构加入了这项行动，包括安纳伯格基金会和皮尤慈善信托基金会。美国教育部还启动了“小型学习社区计划”。
你的直觉可能认为这么做有道理。人们很容易构建一个因果故事，来解释小学校为何能提供优质的教育，比如，给学生更多的关注和鼓励，将他们培养为成绩斐然的学者。遗憾的是，这种因果分析毫无意义，因为事实上，它是错的。向盖茨基金会报告的统计学家如果问及最差的学校有什么特征，他们会发现，差学校的规模往往也比平均水平小。事实是，小学校的教育水平并不比平均水平高，它们只是变异性较大。魏纳和泽维林说，反而是大学校会取得更好的成绩，它们为高年级学生提供很多种类的课程。
认知心理学的最新进展让我们清楚地了解到：在有关大脑运作的两大故事中，小数定律只占一部分。我和阿莫斯当年对此只略知一二。
· 过分相信小样本是诸多错觉之一——我们更关注信息的内容，而不是可靠性，这使我们对世界的看法比数据所证明的更简单、更连贯。相比在现实世界，在想象的世界里妄下结论更安全。
· 统计数据产生了许多似乎需要因果解释的观察结果，但它们其实不适于因果解释。世界上的许多事都是偶然的，包括抽样意外。
对偶然事件的因果解释必然是错的。
谈 谈 小 数 定 律
“是的，自从新任首席执行官上任后，电影公司已经拍了三部优秀电影。但现在说他热手还为时过早。”
“在咨询统计学家之前，我不会认为这位交易新手是个天才，统计学家可以估计其成功是偶然事件的可能性。”
“观测样本太小，无法做出任何推断。我们不要遵循小数定律。”“在有足够大的样本之前，我想对实验结果保密。否则，我们将应对过早下结论的压力。”