5.1.1 A/B测试的背景
将互联网公司的A/B测试和科学史联系起来，看似是一件距离遥远的“联姻”。但互联网产品迭代常用的A/B测试手段本质上也是科学研究的一部分。
如果读者希望更加透彻地理解互联网产品中A/B测试的基本方法论，就需要回溯科学研究中是如何做控制实验的，以及不做控制实验时常见的问题。本节希望从科学史的角度阐述A/B测试的重要性，让读者对控制实验有更全面的认识。
本节将介绍两个经典的事例。第一个事例介绍统计学家Fisher（也就是方差分析，F检验的统计学家）的农业研究，目的是介绍Fisher的实验设计三原则，这将指导我们设计A/B测试实验。第二个事例介绍心理学中常见的“安慰剂效应”，主要介绍心理学研究在缺乏控制实验的情况下是如何产生谬论的。
事例1：Fisher的实验设计三原则
Fisher R A是英国统计学家、生物进化学家、数学家、遗传学家和优生学家，是现代统计科学的奠基人之一。他对统计学的贡献主要来自于对于洛桑农业实验的研究，即“如何调配不同比例的肥料成分实现亩产最大值”。
讽刺的是，即使到了统计学已经非常成熟的现代，部分互联网公司对于不同线上策略的实验并未比在20世纪早期的农业研究做得好。
在统计学家Fisher之前，农业实验站的农场主们对不同肥料成分进行了将近90年的实验。在每次实验中，工人通常会在整个一块田地上播撒磷酸盐和氮盐的混合物，然后种植谷物，并对收获的粮食以及当年夏季的降水量进行统计。他们会用一些详细的公式修正一年中一块田地的产出（比如选择某个公式，为某块田地的产量乘以一个系数），以便与另一块田地或同一块田地其他年份的产出进行比较。这些系数被称为“肥料指数”。每个农业实验站都有自己的肥料指数，人们都认为自己的肥料指数比别人的肥料指数准确。
由于缺乏最基本的控制实验意识（在20世纪早期是情有可原的），实验站近90年实验的结果就是一堆混乱的结论和大量没有发表的、毫无用处的数据。
但Fisher是一名优秀的统计学家，在查看了农业实验站近90年的数据（也就是前文中科学研究的“观察法-档案查询”得到的数据）以后发现，即使使用了各种各样的多变量数据分析的统计手段，仍然无法消除肥料的差异，也就是对于不同数值结果的解释，仍然无法使用唯一变量的影响因子。接着，Fisher研究了过去90年的降水量和作物产量数据，指出不同年份天气因素的影响比不同肥料的影响大得多（研究的是肥料对产量的影响，但通过统计手段论证了天气的影响更大）。也就是说，不同年份的天气差异和不同年份的肥料差异是同时存在的，这意味着我们无法将二者从这些实验数据中分离开，所以在缺乏控制实验的情况下，长达90年的实验几乎是在浪费时间。
Fisher认为，科学家在实验之前需要设计对照实验。所谓对照实验，是指其他因素相同，只有需要考察的因素不同，科学家们才能根据实验中得到的数据，得出相应科学问题的合理结果。
Fisher根据在农业领域的统计结果，于1925年在书中阐述了他对于对照实验设计的三原则，分别是随机化原则、重复原则和区组化原则。
●随机化原则：实验能够使用统计方法的先决条件（因为假设检验等统计方法要求观察值是独立分布的随机变量）。随机化原则需要保持实验组和对照组的同质性，比如性别、年龄、地域、使用特征等用户特征是相同的。换句话说，实验组有多大比例的男性，对照组也要有比例接近的男性。所谓随机化，是指实验材料的分配和各个实验的次序都是随机的，这有助于均匀可能出现的外来因素的效应。
●重复原则：该原则有两条重要的性质，第一条性质是每一次实验可以求解出实验结果在统计上的置信度，第二条性质是通过重复实验可以提升置信度。换句话说，控制实验应该允许被重复、每次独立重复实验的数据差异在统计置信区间内，更充分和更有说服力地证明一个实验结论的可靠性。许多科学研究需要做上万次的独立重复实验，以便在大样本条件下降低每一次实验的随机性和测量误差。实际工作中，A/B测试在部分场景下（尤其是重要的验证实验）也需要独立重复若干次，观察每一次实验的收益是否稳定。值得一提的是，一般来说推荐策略迭代一段时间后需要对之前正向收益的实验进行回测，即重新验证在一段时间后的收益是否和当时实验收益接近。
●区组化原则：该原则又称“局部控制”或“分层控制”，是用来提高试验精确度的一种方法。这一原则是为了降低实验过程中的系统误差对实验结果的影响而设计的。Fisher的分析方法本质上是对比系统误差（不同实验组之间由于策略不同导致的波动幅度）和随机误差（同一个实验组内部的波动幅度）的大小。举例来说，在做某种激素类药物对人体影响的实验时，我们已知共有两种因素会对因变量产生影响。第一种因素是是否服用了实验药物，即实验组服用实验药物、对照组服用安慰剂。第二种因素是参与实验的志愿者的性别分布，男性和女性对于激素类的调节机制存在着根本差异。但我们希望研究的是实验药物因素带来的效果，基于如下两种原则设计实验的结果是不同的。
●基于随机化原则：随机化原则类似于随机抽样，如果基于随机化原则设计实验，不区分志愿者中的男女比例做随机分配，产出结果是忽略性别因素的（我们假定了随机分配足够均匀）。
●基于区组化原则：区组化原则类似于分层抽样，按照男性和女性分组并分别进行实验，男性组分为安慰剂组和实验组，女性组同样分为安慰剂组和实验组，在产出最终实验报告时分别汇报该药物对男性和女性的影响。
区组化原则实际上是通过分层抽样的思想继续控制可能影响最终结果的因素，得到的实验结论会更有说服力。基于区组化原则的实验设计中，区组选择的原则在于区组间差别越大越好，区组内差别越小越好。在自变量水平上，随机区组设计因素包括处理因素和区组因素，而完全随机设计因素仅包括处理因素，因此可以认为随机区组设计的检验效能高于完全随机设计的方差分析。
Fisher的实验设计思想需要在互联网产品的A/B测试中得到更好的贯彻。很多员工缺乏最基本的实验意识，所以类似于20世纪早期农业实验站的无用结论在团队的每周工作汇报中俯拾皆是。这既是策略产品经理职位的机遇（人无我有），同时更是挑战（部分公司缺乏自我变革的勇气，难以提升大多数员工的实验意识）。
事例2：安慰剂效应
在介绍安慰剂效应之前，需要介绍一个心理学的常见概念——见证叙事。比如我们经常可以在电视上看到这样的广告，“某个病人宣称吃了某一种药物后，自己的病情得到了好转并最终康复。”假设我们认为这条广告的内容是真的（事实上很多人真的会出于非商业目的如此表达），但这样的反馈到底是不是真的呢？
实际上不然，“见证叙事”是一种常见的个体案例，即使可以收集到足够多的见证叙事案例，我们也无法从中得到任何有效的结论。因为导致该结论的一个很可能原因在于安慰剂效应。几乎每种产生于医学和心理学的疗法都有一定数量的支持者，并且总能催生出一些发自内心认可其疗效的人，在各种医学文献上同样记载了各种各样的富有想象力的“药方”。比如生姜涂到秃头上会治疗脱发，一些人表示通过生姜涂抹秃头的部位在一段时间后真的有新的头发长了出来。如果对这些“见证叙事”信以为真，我们似乎可以得到“生姜摩擦秃头部位有助于生发”的结论。
但事实上，安慰剂效应广泛存在，也就是说有一部分人吃了该药后，在心理上会认为自己的生理症状得到了改善。“生姜治疗脱发”的例子也是一样，只要有足够多的被实验对象，总是会有一定比例的用户会认为自己的病症通过这种方法得到了改善。
类似的实验可以在内容类推荐策略中运用，笔者在内部评测时有过几次相似的经历。如果将某个平台内部员工放入实验组（比如实验的内容为增加符合平台价值观的优质内容曝光量），参与反馈的内部员工往往会表示他的推荐体验真的变好了，因为优质内容变多了。但实际上，由于实验开启滞后的问题，在这几位内部员工评测时，实验策略并没有上线，也就是说他们看到的是和平时完全一样的信息流！
人的主观意识是很强大的，当被告知“你已经加入实验组”以后，即使并未真正开启实验，一部分用户就已经开始发布自己的“见证叙事”，宣布自己的体验改善了或变差了。这个效应是需要策略产品经理进行深度思考的。这里留一道思考题：对于服务端的推荐策略A/B测试来说，是否应该告知用户已经进入A/B测试实验？如果应该告知用户已经进入A/B测试实验，是否应该告知用户处于实验组还是对照组？
总之，策略产品经理要学会使用批判性的思维进行判断，当遇到负例时，区分出该负例是不是孤立的“见证叙事”。