在线 AB 实验成为当今互联网公司中必不可少的数据驱动的工具，很多公司把自己的产品来做一次 AB 实验作为数据驱动的试金石。

数据 => 洞察 => 优化，循环往复寻找最优解，寻找增长的方法。

AB 中有句经典的名言：大胆假设，小心求证。

本分享从以下几个方面来介绍：

1、数据驱动

2、基本架构

3、指标选取

4、数据分析

AB 实验并不是万能的，没有 AB 实验也不是万万不能，但是有了 AB 实验可以少走很多弯路。

2.1 AB 实验与数据驱动

AB 实验阶段对应数据驱动的不同阶段，从最基本的设计执行分析阶段到绝大多数改动需要 AB 验证，从简单到复杂，从少量实验到大规模实验，正好对应的数据驱动从「爬，走，跑，飞」的四个阶段，关系是层层递进的。

2.1.1 设计执行分析阶段

设计执行分析阶段主要是：数据检测设置和数据科学能力搭建。在 AB 实验上进行多次的实验，从实验的设计，指标的定义，实验的开启，实验结果的分析，并且找到成功的一些实验案例有助于我们进入到下一阶段。

2.1.2 标准化指标阶段

标准化指标阶段主要是：运行少量实验到定义标准指标再到开启更多实验。AB 实验开始运行更加复杂的 case 来持续验证数据的可行性，并且通过运行 AA 实验来验证平台潜在的问题，同时能够进行样本比率偏差检测。

2.1.3 大面积实验AB实验阶段

从上一个阶段的标准化指标，已经可以运行大量实验，并且各种指标也逐渐相对成熟，每次实验进行多个指标的权衡，然后在一个应用上利用 AB 实验对绝大多数的新功能和改动做实验。

2.1.4 绝大多数改动需要AB验证阶段

几乎所有的改动都需要经过 AB 实验的验证，可以在没有数据科学家的辅助下，可以对大多数的实验进行独立的分析和运作。同时通过对过去实验的分析，AB 实验的有效性和最佳实践也能得到不断的更新。

2.2 数据驱动的条件

2.2.1 实验标准化

数据决策肯定是一套标准化的东西来规范，实验标准化也是 AB 数据驱动的必备条件。

那什么是 AB 实验的标准化呢？