作为一只老产品猫，对于业务理解、用户调研、流程梳理、交互设计等，不能算得心应手，也已经形成自己的工作方法，但对于A/B测试功能设计，懂得这些远远不够。

A/B测试作为一个决策工具，知道如何科学地进行实验很重要。假设检验是用样本去推断总体，并不能保证结论的正确性，我们要知道这个工具/模型的边界在哪里，知道它的约束条件和可能存在的陷阱，在产品和数据模型设计中充分考虑这些因素，才能搭建出真正有价值的工具。

所以我记录了产品研究过程中发现的，那些对于产品经理来说晦涩难懂但又很重要的问题，作为学*结分享。

01

什么是A/B测试

A/B测试是指把平台的流量进行均匀分组，每组投放不同方案，然后根据数据指标判断方案间是否存在显著性差异，最终进行方案决策，比如从广告图的不同配色方案中决定哪个更能吸引用户。

主要包括以下步骤：

定义问题——分析现状，提出假设。

实验设计——设计实验方案、定义评估指标、估算样本量、确定分流策略、设置投放时长。

实验投放——抽样投放，收集实验数据。

分析决策——分析效果数据，决定发布版本或调整后继续迭代测试。

02

评估指标设计

AB测试评估指标，一般会包括两类：

原则上应该保持稳定的的指标。对比实验应该在保持其它因素相同的情况下，观察某一变量对目标的影响。因此，我们要求实验组和对照组的稳定性指标不应存在显著性差异，以防止其它因素误导实验的最终决策。比如不同的广告图设计应该不影响广告栏位的曝光量。

方案效果评估指标。这是衡量方案效果提升的指标，比如广告点击率。评估指标可以有好几个，设计时要注意覆盖用户体验指标、业务转化指标等。

记住，指标的设计是主观的，因此一切数据都带有个人主观偏见，设计指标时应时刻注意指标与业务的关联，避免错误的指标导致的错误结论。

另外，统计上有显著性差异，并不能代表优化方案带来的效果提升有业务价值。

统计学家Gene V. Glass说：“统计显著性（statistical significance）是有关于结果最无聊的事情，你应该根据量化来描述结果。

不光只是指出某种治疗对人会有影响，还应当告诉人们这种影响究竟有多大。”

因此，我们可以在实验前根据业务经验确定每个效果评估指标的效应值（effect size)，然后在假设检验满足显著性水平要求的情况下，进一步计算方案的效应值,判断是否在业务上有显著影响。

常用科恩公式衡量效应大小：

分子为分组样本均数差，分母为合并标准差。比如，对于广告效果实验，我们想观察的是用户有没有点击这个广告图片，属于两点分布，取值是0或者1，所以样本均值=(取值为1的样本数)/样本总数=点击率。

双独立样本合并标准差计算公式如下：

一般要求方案在统计意义上有显著性提升，且提升幅度在业务上有现实意义，才认为优化方案有价值。