5.3.1 A/B测试中的收益预估

5.3.1　A/B测试中的收益预估

实际上，A/B测试实验是工业界常用的比较好的验证方法，但也并非是百分百正确的。策略产品经理需要明白的是：“实验只是提升了做出正确判断的概率，但无法将概率提升至100%，否则也就不需要策略产品经理这个职位了。”在实际工作中，我们会遇到许多A/B测试实验效度的问题，笔者只能根据多年经验给出大致方法。

A/B测试收益预估是A/B测试中的关键一环，我们先看看三类收益预估问题。

●在实验开始之前，需要预估A/B测试实验收益。主要手段为相关性数据分析和内部主观评估。

●A/B测试实验有收益，需要预估实验全量后的数据收益。主要手段为经验判断和时间序列策略上线前后对比分析。核心影响因素为实验的外部效度。

●全量若干个实验之后，需要测量某段时间内的所有实验累计数据收益。主要手段为留出小流量观测组，进行策略的长期趋势对比。核心影响因素为策略之间的交互作用和外部效度。

1.在实验开始之前，需要预估A/B测试实验收益

对于第一类的“实验前预估收益”问题，一般需要将相近策略的前几次实验作为基准数据。如果完全没有相关实验的历史数据，则很难预估。比如某实验策略为优化封面选图逻辑（实验组策略为封面图识别算法，帮助用户选择更有吸引力的封面图），第一次的实验收益为点击率涨幅40%，第二次实验策略和第一次实验策略接近（可能是改进了封面图的选择逻辑，也可能是和封面图相关的其他逻辑），并且用户群的规模和特征分布基本一致，则可以根据第一次实验的结果“点击率涨幅40%”来调整预期收益。

比如通过主观评估认为“新策略可以挑选出比旧策略更具竞争力的封面图”，同时通过上一个实验已经验证了封面图会影响用户的点击率（基于假设“用户是视觉动物，导致内容点击行为与图片的竞争力有因果关系”），由上一次的实验结果可以推断出：改进封面图匹配规则可以获得高于40%幅度的点击率提升。虽然所有数据是杜撰的，但这种基于历史同类实验数据和假设驱动的方式，会对业务预估有所帮助。

另外，需要根据二级指标（比如点击率）预估一级指标（比如人均收入），此时需要根据历史数据计算出不同指标的相关性（可以使用偏相关的统计方法），本质上是根据提升二级指标的值来预估一级指标的变化程度（有可能是线性变化，也有可能是非线性变化）。

2.A/B测试实验有收益，需要预估实验全量后的数据收益

对于第二类的“单个实验全量收益预估”问题，在实验全量之前的收益预估方式主要依赖于经验（一般全量后的数据效果都会有打折），在实验全量之后的收益预估方式是策略上线前后的指标变化。核心影响因素为实验的外部效度。

造成很难预估全量后收益的原因为实验的外部效度，其中主要包括以下三点。

●原因1，假设检验的定义。

●原因2，分流不均导致的辛普森悖论。

●原因3，网络效应。

对于原因1，根据假设检验的定义（H0假设为实验组和对照组的均值相等，H1假设为均值不相等），A/B测试实验中内部效度的测量值分别为“置信度水平p”和“统计功效”。用一个简单的例子来说明，假定某次实验中实验组比对照组在点击率指标上提升了30%，并且置信度水平设置为95%。

●正确的认识：p（实验组>对照组）≥95%，根据假设检验的定义，该结果反映的是“实验组比对照组效果更好”的概率大于等于95%。

●错误的认识：p（实验组=1.3×对照组）≥95%，根据假设检验的定义，无法得出“实验组比对照组效果提升30%”的概率大于等于95%。

只要满足一型错误概率在5%以内且二型错误概率在20%以内，就能验证H0假设不成立，也就是H1假设成立（实验组和对照组的均值不相等）。当我们比较任意两个实验组时，比如实验甲证明（实验组的）某策略使点击率提升了20%，实验乙证明（实验组的）另一条策略使点击率提升了50%，但无法对比这两条策略谁的提升更大，除非将两个策略在同一个实验下进行对比。

对于原因2，辛普森悖论在统计学中已经广为人知，笔者不再赘述。统计学中最著名的案例莫过于“法学院女性录取率”问题。

图5-2很好地解释了辛普森悖论成立的原因，其中是坐标（a1,a2）的斜率，从图中可以看出尽管和更高，但是在分子分母分别相加以后不等号的方向发生了改变。

图5-2　“辛普森悖论”成立的示意图

在A/B测试中如果分流不均，辛普森悖论就可能出现。比如A/B测试在某一部分用户（比如新用户人群）上取得了统计置信的收益，但是全量之后会由于人群并非严格“切割”而看不到相应的数据收益。另外一个可能会引起辛普森悖论出现的原因是现实情况中我们使用50%实验组、50%对照组的分流方式，在全量后理想态应该是现实世界时间线的100%全量用户和另一个平行世界（即未开发并实验该策略的时间线）的100%对照组用户比较，如图5-3所示。从工业界的分流方法看，我们很难保证现实情况和理想情况下用户特征完全均匀，这同样会引起辛普森悖论的出现。

图5-3　实验全量的理想态和现实态

虽然辛普森悖论成立，但并不是说实际工作中无法做到100%分流均匀的A/B测试机制就失效了。从笔者项目实践数据看，辛普森悖论的发生概率实际上很少超过20%，只要不是严重的分流误差，就不太容易出现辛普森悖论。

原因3是网络效应。A/B测试实验的基本假设是，实验组和对照组的样本互相独立，即P(XY)=P(X)·P(Y)。从概率上来讲，分流到实验组的人群和对照组的人群行为不应有任何相关性。但在实际工作中无法满足这样的条件，比如社区产品或社交产品中用户与用户可以相互关注、相互发送私信、相互评论对方的内容、相互查看对方的个人信息页面，这都违反了A/B测试的独立性假设。

我们把这种产品属性叫作网络效应，简单理解，就是整个用户群体的行为在局部范围内互相影响。社交类产品的A/B测试实验往往会产生较强的网络效应，虚构的数字如图5-4所示。

如果通过某种策略（比如优化了封面图选取逻辑），实验组的点击率数据得到了增长，由于实验组用户和对照组用户是不独立的，比如实验组用户将优化过封面图的内容通过私信、分享或其他线下渠道分享给对照组用户，同样会带来对照组用户行为的改变（比如用户可能会想“好像我的朋友和我的界面有所差异，我也来点一下试试看是不是真的有差异”），这样就违反了独立性假设，从而使实验组用户牵引着对照组用户的数据也上涨，导致对照组用户的数据比理想态情况下数据更高。所以，如果实验组比对照组的点击率显著提升5%，那么实验组比对照组实际值的涨幅应该高于5%。

另外，当实验组和对照组存在资源竞争关系时，情况刚好相反，此时对照组的真实值将高于对照组，如图5-5所示。比如在运力一定的情况下，如果实验组为某互联网出行平台增加运力，对照组则受到实验组增加运力的影响被迫减少了运力，会导致对照组比对照组真实值更低。

图5-4　对照组高于其真实值的情况

图5-5　对照组低于其真实值的情况

3.全量若干个实验之后，需要测量某段时间内所有实验累计数据收益

在实际工作中一般需要对一段时间内的多个实验进行整体效果评估，那么如何衡量一段时间内数个实验的综合效果？这其中影响最大的是策略之间的交互作用。

在第4章中，我们提到过不独立的两个变量会产生交互作用，比如近三个月内我们可能全量了20个正收益的实验策略，这些实验策略在A/B测试阶段的收益分别为点击率提升5%、10%、5%、…、13%等，但是实验全量之后，由于上述原因的存在，效果上要打一定的折扣。比如观测了每一个全量后的实验收益（根据策略上线前后的周期对比的不严谨指标估算）为点击率提升为3%、7%、4%、…、9%等，但是20个实验策略的整体效果该如何估算呢？

国外的论文中介绍过A/B测试中长期对照组的存在，搭建好A/B测试平台以后往往会留出一定比例的小流量作为长期对照观察组，通过长期对照组和全量实验组进行对比，以近似测量上线后全部策略的交互作用的最终影响，长期对照组对于监测产品留存有很大的帮助。