应用场景

A / B测试，即你设计的页面有两个版本（A和B），A为现行的设计， B是新的设计。比较这两个版本之间你所关心的数据（转化率，业绩，跳出率等）。A/B测试的目的就是尝试了解新的设计是否在统计上显著地改变了转化率。

流程

对用户进行分组，分为A组与B组。A组是对照组，B组是在A组的基础上有一些改变的实验组。

分组的重点是正交分流，也就是2组的人群分布一致。在实际操作过程中，经常会出现多组实验同时进行，为了避免实验相互干扰，保证每组实验的独立性；就应该保证每个实验过程中，实验组与对照组的人群分布一致，即正交分流。

例如淘宝App对用户登陆页面与用户注册页面都进行了修改（用户登陆页面—>跳转注册页面）。在对注册页面进行AB测试的过程中，需要保证AB两组中用户登陆页面的人群分布一致；如果A组中的用户80%来自登陆页面修改之后的用户，B组用户20%来自登陆页面修改之后的用户，这样很难确定是用户登陆页面还是注册页面对AB两组产生了影响。
使用显著性检验，观察A组与B组是否发生了在统计上发生了显著性的变化。从而判断B组的改变是否有效。这就是数学原理的关键所在。