5.4 本章小结

5.4　本章小结

本章主要内容共分为三节，分别介绍了A/B测试的历史和基本方法、A/B测试依赖的假设检验的思想和实际工作中遇到的常见问题。5.1节从A/B测试的历史切入，介绍Fisher实验三原则、安慰剂效应和灰度发布流程，关于流程规范请读者结合自身情况参考。5.2节简单地介绍了如何使用假设检验的方式纠正我们的直觉，让读者更加了解统计学的思维，同时介绍了A/B测试实验的内部效度，并从技术层面介绍了A/B测试的两种指标的假设检验方式。5.3节介绍了实验的外部效度，其主要影响因子为网络效应和辛普森悖论，同时明确了假设检验的定义并不会告诉我们实验组比对照组提升程度的概率。最后介绍了关于分流均匀性、实验常见误区和局限性的一些操作常识，部分经验数字无法给出严谨的证明，仅供参考。另外，统计学中还有诸如元分析和偏相关等提升A/B测试计算置信度的方法，但限于篇幅不再赘述。