第5章 A/B测试：因果性的“钥匙”
本章主要介绍A/B测试相关内容。A/B测试是一种基于控制、对照等科学研究方法的对照试验，已经广泛应用于医疗和心理研究等科学领域。
简单来说，A/B测试可以辅助优化产品，具体的应用方法是在产品全量上线之前，制定两个及以上的实验方案，同时将符合要求的目标用户流量均匀分为几组，在保证每组用户特征相同的前提下，让用户分别看到不同的实验方案（可以是界面，也可以是推荐策略），通过观察评估指标，帮助策略产品经理进行科学决策。
第4章介绍了多变量实验的方法、多变量数据分析，我们可以借助这些手段判定相关性，而无法精准判定因果性。而A/B测试则不然，它可以控制自变量和因变量，所以是验证因果性的方法。基于以上原因，A/B测试是策略产品经理需要掌握的最重要的“武器”。
不同公司在A/B测试系统的建设上处于不同的发展阶段，以下是一些常见环境。
●数据仓库建设进度缓慢，不足以支撑数据驱动。数据驱动是时代趋势，但是对于大多数从传统行业转型到互联网的公司，其互联网基因不强，底层数据的建设非常薄弱，比如缺少许多关键的数据打点，无公司级可用的数据平台，即使有，数据权限被极少数人控制（即策略产品经理可能拿不到一线数据）。数据平台和数据仓库的建设需要数据产品经理参与，但大多数公司并不具备这样的硬件条件，所以在这样的工作环境下策略产品很难实现真正意义的数据驱动，业务决策主要以感性判断为主。
●数据仓库建设相对完整，但中层领导喜欢经验决策。数据驱动近5年才得到普遍认同，一些中层领导往往出于职业惯性凭经验做决策，而忽视数据现状。笔者的判断是：在部分互联网垄断赛道上，这种情况将长期持续，因为这些公司垄断了赛道而鲜有竞争者，缺乏自我变革的动力；而在新兴赛道和非垄断赛道上，这种情况将在不久以后得到改善，经济下行压力也会促使公司管理层对中层领导的数据考核越来越严格。
●公司有A/B测试系统，但团队习惯于全量上线而非经过A/B测试后上线。这种情况相对易于解决，策略产品经理可以推动上线流程的优化，重点是要推动A/B测试单次实验成本的降低，并让管理层意识到未经过A/B测试上线的历史项目数据收益存在争议。
●公司有多套A/B测试系统，即每个部门都有自己独立的A/B测试系统和指标体系。这种情况相对易于解决，策略产品经理需要推动可以决策建立中台系统的人（比如CTO）进行决策，明确公司同一个App是一个整体，不能只观测某一个模块的指标变化，所有影响App的指标都需要观测。比如，某一个实验对局部正向受益但对全局负向受益的情况很常见。
●公司的日活用户很低，导致A/B测试时用户流量很小，经常出现实验结果反复。一些统计手段可以缓解该问题，实验效果有限。在小流量A/B测试中需要增加主观判断，不能完全依赖数据驱动。一般来说，每个实验组的独立用户数需要超过1000，如果A/B测试的用户量低于1000，那么A/B测试结果仅供参考，决策时以主观判断为主。
本章将介绍并解决A/B测试中常见的5个问题。
1）内部效力问题：如何确保实验组和对照组的用户特征分布是相同的？
2）外部效力问题：为什么产品经A/B测试上线后的效果和实验时的效果不同？
3）实验操作问题：在实验的过程中（比如1天后）是否可以增加新的实验组？实验需要开启多少天？实验组和对照组的流量如何分配？
4）多组实验问题：是否可以同时在线上做多组实验？如何避免不同实验相互影响？
5）假设检验问题：当实验组和对照组的指标有差异时，如何判断两组实验是随机误差造成还是统计误差造成？
本章主要内容分为三部分。第一部分介绍A/B测试的定义、背景及应用。A/B测试定义的核心关键词是“控制”，保证组与组之间只有唯一变量。A/B测试在学术界率先应用于心理学和医学，在互联网公司中往往和灰度发布流程绑定。第二部分介绍A/B测试依赖的统计学知识，以“如何使用实验判断硬币是否被做过手脚”例子介绍假设检验，并介绍实验的内部效度和外部效度，如何确定两组实验数据是随机误差还是统计误差，以及A/B测试的局限性。第三部分介绍A/B测试在工业应用中遇到的实际问题，比如小流量产品的A/B测试怎么做，多个实验在线上如何同时进行，分流均匀性如何保证，实验所需的最小观察周期多长，如何对产品留存进行长期观察等。