转化率
转化数除以访客数。
转化率
—
A/B 测试显著性
两个版本之间的差异是真的，还是噪声？用双比例的双侧检验。
- 采用合并比例的双比例 z 检验
- 测试开始前就定好置信度
- 跑到计划的样本量再看结论，不要一看到显著就停
A 版本（对照组）
B 版本
A 转化率
—
B 转化率
—
相对提升
—
p 值
—
样本量
要发现你关心的变化，每个版本需要多少访客。
- 要检测的提升越小，需要的访客越多：提升减半，样本量约变为 4 倍
- 检验力是：真有这么大的变化时，能被检测出来的概率
- 按整周跑，让工作日和周末都覆盖到
你现在的转化率，比如 5
值得发现的最小提升，比如 10
每个版本的访客数
—
怎么用
规划、运行、决定
- 1
算样本量
填写当前转化率和值得发现的最小提升。
- 2
跑到够数为止
不要因为某一天结果好看就提前停。
- 3
检验显著性
填入结果，看结论。
小贴士
避开常见的坑
按整周跑
工作日和周末的转化不一样，测试要跑满整周。
别偷看后就停
一看到显著就停下，会大大增加假阳性。
只算真人
机器人会稀释转化率。PathClue 的转化率按真人计算。
FAQ
计算器常见问题
没找到答案？打开右下角的聊天直接问我们。
显著性计算用的是什么检验？
两个比例之差的双侧 z 检验，使用合并转化率。
p 值是什么意思？
如果两个版本其实一样好，看到至少这么大差异的概率。小于 0.05 即在 95% 置信度下显著。
为什么样本量这么大？
在低转化率上的小提升很难和噪声区分开。测试更大的改动，或者选转化率更高的步骤，需要的访客就少。