定义

• A/B test 是将平台的流量均分为几组，每个组添加不同的策略，根据这几个组的用户数据指标，如：留存、人均观看时长等核心指标，最终选择一个最好的组上线。

实验设计
A/B Test实验的目的一般包含两个：

• 判断哪个更好，如有两个UI，欲知A/B哪个更好一些即可根据A/Btest进行实验判定
• 计算收益： 如最新上线的某一功能给平台带来了多少额外的DAU,多少额外的使用时长等

其目标通常为：

• 希望尽快得到实验结论，尽快决策
• 希望收益最大化，用户体验影响最小

实验的基本步骤：

流量分配：
在进行流量分配时一般遵循：

实验效果：

实验分析：
方案 1 和方案 2，哪个效果更好？
哪个 ROI （投资 回报率） 更高？
长期来看哪个更好？
不同群体有差异吗？

方案 1 和方案 2，哪个效果更好？
运用假设检验，对于留存率、渗透率等漏斗类指标，采用卡方检验
对于人均时长类等均值类指标，采用t 检验
对于假设检验的结果需要进一步进行置信分析

哪个 ROI （投资回报率） 更高？
对于成本可以直接进行计算，对于收益，假定以总日活跃天作为收益指标，则：

• 实验组假设不做活动日活跃天 = 对照组日活跃天 * （实验组流量 / 对照组流量）
• 实验组收益 = 实验组日活跃天 - 实验组假设不做活动日活跃天
  通过 收益/ 成本 即可计算ROI

长期来看哪个更好？
需要考虑新奇效应，在实验上线前期用户会因为新鲜感而取得不错的效果，所以在进行评估时，需要观测到稳定态后再做评估

不同群体有差异吗？
很多情况下，对新用户可能实验组更好，老用户对照组更好；对年轻人实验组更好，中年人对照组更好

ref: https://www.zhihu.com/question/20045543/answer/1103961403