6.6.2 基于A/B测试实验的度量

6.6.2 基于A/B测试实验的度量

正如上节所说,短期内容品类稀缺性的判断可以使用基于A/B测试实验的方法,这种度量思路可以描述为:“对实验组用户砍掉一部分目标分类的内容,观察实验组的数据损失,使用砍掉相应量级的内容带来的数据损失,来预估增加相应量级内容带来的数据收益。”

此种情况下,对照组即线上的某用户群,对实验组用户采取策略,砍掉其A分类10%的内容,观察数据损失。如果用户量充裕,可以做多组不同阈值的实验,对第二实验组的用户砍掉20%的内容,对第三实验组的用户砍掉30%的内容……以此类推,得到不同实验组与对照组的用户侧指标损失情况。

在做内容预测前,要假设内容是没有达到饱和的。这条假设非常重要,比如对于内容量特别充裕的分类,增加100条内容和增加200条内容效果基本接近,因为用户阅读兴趣已经饱和。如果第一实验组砍掉100篇内容带来了50%的数据损失,那么增加100篇该分类内容就可以带来5%的数据提升。其他实验组同理。

A/B测试实验度量内容稀缺性需要两个前提条件,并不是任何平台都可以通过该方法进行稀缺性度量的。

●平台侧能接受A/B测试实验期间带来的数据损失。因为该实验方法是对实验组用户砍掉一定比例的随机内容,势必会带来用户量等指标的损失。一部分公司是不允许进行预测数据为负向的实验的,尽管该实验的目的是得到不同品类内容的稀缺性的定量数值。

●使用该方法的平台需要内容候选集的体量较大。举例来说,比如平台中只有10篇目标分类的内容,此时无论是对实验组用户砍掉1条还是2条内容都没有意义,数据过于稀疏,并且凭借经验也能判断出这个分类是缺乏内容的。这种方法只适用于百级别以上的目标分类内容,此时得出的数值才有统计意义。

但需要指出的是,如果你经历过相近的实验,会发现内容量的增大和减小所带来的收益和损失都是非线性的,并不是增加200篇带来的收益是增加100篇内容的两倍。这里有两个效应存在,一个是“规模效应”,另一个是“最后一根稻草”效应。

举例来说,对于某个分类砍掉300条内容带来的损失应该比砍掉100条内容带来的损失的三倍还大一些。因为从用户角度看,如果某个分类砍掉100条内容时还能勉强接受看下去,但是砍掉300条内容时,大多数用户的“最后一根稻草”就被砍掉了,所以会让用户直接放弃该分类内容的消费行为。

这个道理用数学化的思维也很好理解。假设有100个对A分类感兴趣的用户,但不同的是每个用户的消费频次和深度是不同的。假设1号用户平时需要看两条A分类的内容。举例来说,假设A分类为足球相关内容,这两条内容可能是足球比赛的备战情况、足球比赛的结果情况。如果没有这两个A分类内容,1号用户就会流失。2号用户可能有三条A分类的内容消费需求,3号用户可能一条就够了……

那通过砍掉不同条数的内容供给,可能切断的是不同用户的“最后一根稻草”,比如对于1号用户,若缺少了足球比赛的结果情况,1号用户可能就不会选择该产品。而砍掉的“稻草”越多,涉及的用户人数就越多。用户行为是趋同的,一旦砍掉了“关键稻草”,会造成更大的非线性跌幅。

以上这个分析是对这种A/B测试实验思路的合理推测和数学化表达,希望读者可以理解这个思路以及非线性的真正原因。

在阐述了两种定量度量稀缺性的思路后,接下来的问题变成了如何进行内容生态的建设,是选择配额的“计划经济”,还是选择“市场经济”?“市场经济”的好处是不做特定领域内容的爆发增长,生态会解决供需的问题,让大热内容由大多数人竞争,小众内容由少数人竞争。但站在读者角度想,“市场经济”可能会导致部分分类供给过剩(市场能调节到最优,但存在着资源不均的情况),所以也需要平台基于上述两种手段进行不同类型内容的定向生产,作为“市场经济”的有力补充。

上一章 封面 书架 下一章