9.4.1 评估与实验指标设计
在方案实施之前，我们要做的第一件事情就是设计实验指标，通过指标来判断方案是否能够达到预期。
1.从技术指标到业务指标再到商业指标
前面我们介绍了模型的评估方法，这些方法大都是技术指标，如Fβ-Measure、AUC等是模型上线前离线评估模型效果的方法。对于这些技术指标，用户并不关心，也无法感知。作为产品经理，当把模型应用到业务场景中时，我们需要更加关注那些反映用户可感价值的指标，即业务指标。有些技术指标与业务指标是接近一致的，如搜索和推荐场景中模型精确率和用户点击率，我们可以借助假设将二者进行等价处理——假设用户点击的就是用户预期的结果（因此进行实验数据分析时需要尽可能去除误点击数据，如1秒内关闭或回退的点击）；也有些技术指标与业务指标是不一致的，如经过纵向拆解后子函数的技术指标，这部分策略单独上线时，我们需要同时关注对子函数技术指标的优化为原函数业务指标带来的变化（如用户画像模型精确率提升的同时，也关注推荐结果用户点击率的变化）。
如果把视野扩大，我们在模型实验评估时最好能够进一步关注业务的商业指标。商业指标是指与企业的成本或收入挂钩、影响企业利润的指标。理想情况下，我们的模型能够直接对商业指标进行优化，例如第5章介绍的广告场景中基于最大化广告收入设计的模型，或商品推荐场景中基于最大化GMV、毛利收入设计的模型。退一步讲，我们的模型能够对业务指标进行优化，而这些业务指标最好能够和商业指标关联。例如在外卖配送场景中，对配送时间的优化从用户价值角度来说是一个业务指标，而这种优化带来的效率差能够提升运力的平均配送能力、减少平台的配送成本；又比如内容推荐场景中，用户点击率是模型优化在用户价值方面的一种体现，这种用户价值如果反映到商业指标上即为用户的留存率，后者与ARPU值一起能够用于计算平台的收入。
总体来说，能够直接或间接关联到商业指标并进行优化的业务，都是幸福的；不能关联到商业指标的业务，各有各的不幸。后者也是当前许多AI产品的现状了：有能够充分优化的技术指标，正在寻找满足用户价值的业务指标，商业指标则遥遥无期……
2.从离线评估到在线评估：多元的业务指标
实践是检验模型的唯一标准，无论模型在离线评估中结果多么好，都要拿到线上业务环境中接受检验，即在线评估。从离线评估到在线评估的过程中可以检验模型训练过程中的一个假设——用户分布一致性假设，即模型预测的用户与线上业务环境中的用户分布是一致的，离线与线上的评估结果差异有相当一部分是用户分布的不一致性带来的。
不仅如此，在线评估还能为我们提供了更多观测模型的角度与方法。例如在搜索场景中，除了点击率、nDCG等指标外，我们还可以借助即时搜索、搜索提示等搜索场景的功能，把用户完成搜索的平均键入字符数、搜索决策时长、搜索结果停留时间等交互指标拿来综合评估模型效果。这是因为存在这样的假设：在搜索场景中模型预测的效果越好，用户越容易提前中止键入，直接点击即时搜索或搜索提示提供的预期结果（平均键入字符数更少），在结果列表中更靠前的位置找到预期结果（搜索决策时长更短）以及认真浏览搜索结果（搜索结果停留时间更长）。
这种通过逻辑关系建立的多元业务指标评估体系和监控业务健康度的方法，与医院病房中使用心电监控仪监控身体健康状况的方法类似。医生在给病人开药或做手术后，会对病人身体指标（心跳、心率、血压等）往哪个方向发展有一定的预期，通过这些指标的变化来倒推诊疗方案是否正确。由此，我们也可以进一步借鉴心电监控仪监控数据的方式，对于业务指标不仅要关心指标的平均值，还要关注指标的边界与异常值。例如在配送时间预估问题中，我们不仅要关注平均配送时间，还要关注超过阈值时间的订单比例，甚至将其作为约束条件加入模型。
3.短期指标与长期指标
前面我们提到的这些指标大部分都是短期指标，是单次实验就能够观察到的、可回滚的业务变化。有时我们还需要关注一些影响更为深远的长期指标。一个典型的长期指标是描述平台环境的基尼系数（Gini Coefficient）[1]。其计算方法如图9-6所示。
图9-6 基尼系数
基尼系数通常用来衡量一个国家或地区居民收入差异的大小，我们可以将所有居民按收入从低到高排列（横轴所示），并统计该居民所处人群分位数的累积收入占比（纵轴所示），这样构成了一个曲线——洛伦兹曲线，曲线上每一个点（x%，y%）对应的含义为x%以内的低收入居民收入之和占全体居民总收入的y%。当收入绝对平均分配时，洛伦兹曲线即为收入平等线y=x。一般情况下可以假定洛伦兹曲线与收入平等线之间的面积为A，洛伦兹曲线下方的面积为B，由此我们可以得到
。基尼系数介于0到1之间，基尼系数越小意味着居民收入的贫富差距越小，反之亦然。
根据这一定义，我们可以用基尼系数来衡量内容创作者流量、商家GMV、广告主投放预算等用户或客户间的“贫富差距”。以内容平台为例，如果把每个内容创作者或主体一段时期内获得的流量从低到高排列，我们也可以得到创作者的流量基尼系数，数值越高意味着流量越集中地向头部创作者或MCN靠拢。“贫富差距”扩大意味着中小内容创作者在逐渐退出，头部创作者或MCN可能逐渐形成内容垄断，压缩平台的话语权，从长远来看会影响平台的商业利益。
这种长期指标的变化不是一次或两次新策略上线就能影响的，是业务长时间演化的结果。就好比是一些慢性病指标，往往需要结合手术（产品策略）和服药（长期的运营）来影响。
[1] 本节中所说的基尼系数（Gini Coefficient）与6.2.1节中的Gini指数是两个概念，请注意区分。