每日能赚50的方法（分享领5元or分享送5元）

背景介绍：咖哥数据科学讲习所，是为各类企业提供数据服务的机构，其核心宗旨是在普及数据科学知识的同时，帮助企业从数据中发现肉眼无法察觉的秘密，形成商业洞见。咖哥，是咖哥数据科学讲习所的所长，数据分析和商业智能专家，数据演绎法这一概念的提出者。

01

两个方案：“利己”还是“利他”

这天清晨，数据科学讲习所刚刚开业，咖哥就接到了一个老客户的电话。来电话的是沪东商城的运营主管，马总。

“咖哥啊，我们最近有一款新品要上市啦。我们想让用户推荐这款咖啡壶给朋友，如果朋友下单成功，该用户获得 5 元优惠券。你说好不好？”

没等咖哥回答，马总接着说：“但是，问题来了，有一个运营同学建议不要写‘分享领 5 元’，可以将它改成‘送朋友 5 元’。这才显得推荐的人大方！”

咖哥听了马总的难题，觉得很有意思，乍一想当然是自己拿钱才会转发，不然不是白忙活一场；不过，“送朋友 5 元”这个法子也的确很不错。

那么，这两个方案，哪个更好呢？

咖哥虽然不知道哪个方案更合适，但他建议马总两个方案都尝试一下。

“两个都用？”马总问，“那可不成，优惠得太多我可就赔本了。”

“我的意思是把产品促销页做成两个版本，同时将它们随机引流到相同数量的用户群体。监控两周后，把数据拿来让我们分析一下。”

这就是通过对照实验的方法比较二者的效果。

02

A/B测试，治好选择困难症

马总给我们带来的这个案例是一个典型的 A/B 测试案例。A/B 测试也可以叫作 A/B 实验，在数据分析和运营领域可谓是大名鼎鼎。

什么是 A/B 测试？举个例子，同样都是引导用户购买的按钮，上面的文字就可以有所不同。

按钮文字中细微的不同之处很可能会大大影响流量。因受众不同，结果也会不同。年轻人喜欢新鲜的东西，但若是针对中老年用户，“戳此入手”这 4 个字不一定是好方案。

A/B 测试就是评估一种变体（称为实验）是否比当前状况（称为对照）好的科学方法。对于产品、运营人员来说，A/B 测试从构建假设开始，假设的来源可以是主观判断、用户反馈或团队讨论结果。其目的在于通过科学的实验设计、控制样本的代表性，以流量分割与小流量测试等方式获得具有代表性的结论，并将结论应用到全部流量。

A/B 测试可以应用在产品交互设计、产品功能迭代、推荐算法、广告投放和商品运营等诸多领域，它可以简单有效地评估两种方案之间的 ROI 差异。

▲ 图源：范叶亮

A/B 测试的具体步骤主要就4步。

（1）确认实验目标——以这个促销为例，目标就是找出“自己得优惠5元”和“送朋友优惠券5元”哪个转化率更高；

（2）设计实验方案——这里的实验方案是在未来的两周之内，随机把两种类型的促销引流到可能购买产品的人群；

（3）上线实验与过程监控——上线时，需要保证引流的比例是1∶1，而且时间、区域、群体、位置都要按照这个比例平均分配，这样可以保证实验组和对照组的相似性；

（4）结果复盘——拿到两种促销的转化率之后，需要根据统计学原理来分析、确定实验结果，得出结论。

03

拿到数据就够了？

不，你还需要一些统计学知识

A/B测试方案实施后，两个方案被同时投放了两个礼拜。时间很快就过去了，马总已经采集到了两种咖啡壶促销随机分流之后的两组数据。现在可以根据马总获取的数据分析A/B测试结果了。

在开始数据分析之前，最好还是了解一些相关的统计知识。

对照实验

概念：对照实验是现代科学的基础工具之一。在对照实验中，实验者会将实验组和对照组放在同一个环境下进行试验，也就是除了要验证的新方法，其他的影响因素尽量相同。

在本案例中：如果测试 A 和 B 两个页面，我们会同时激活两个站点并随机将用户定向到一个站点，这样，就控制了除了促销手段之外的其他所有变量，比如用户的组成，季节对促销的影响等。

假设检验

概念：假设检验（hypothesis testing）是推论统计中用于检验假设的一种方法。它先对总体参数提出一个假设，然后用样本数据判断这一假设是否成立。在假设检验中，原假设（H0）就是实验中想反对的假设，备择假设（H1）就是实验中想支持的假设。

在本案例中：马总认为“送朋友 5 元”这个新推广方案能提高点击率，那么这就是备择假设 H1。而原假设 H0 则认为相较于原来的推广方案，“送朋友 5 元”这个新推广方案并不能提高点击率。

P值

概念：假设检验中的重要指标是P 值。P 值是个概率，它是在原假设为真的条件下，样本数据拒绝原假设这个事件发生的概率。—— 原假设为真，数据却把这个假设拒绝了，这显然不是我们想要的。

在本案例中：从统计学的角度来说，要求 A/B 测试的结果有显著性差异，如果 P 值太高，我们就认为实验结果的差异显著性不够，因此我们希望P值越低越好。

那么，P值多低才算低呢？要回答这个问题，我们再来了解一下另外两个统计学概念——置信区间和显著性水平。

置信区间

概念：置信区间是一个范围，如一批学生的考试成绩是 0 到 100 分，如果我们给出一个分数区间 [55 分 -95 分 ]，然后说“该区间的置信水平为 95%”，这就代表学生们的考试成绩落在这个范围内的概率是 95%。也就是说，在所有学生中有 95% 的人分数都在这个区间内。

在本案例中：我们使用 95% 的置信水平进行这一次A/B测试的置信区间的估计，代表着95% 的人的都处于这个测试区间。

显著性水平α

概念：上面这个图中的α是显著性水平 ，它是估计总体参数落在某一区间内可能犯错误的概率。通常 α取值0.05 或 0.01。

对于 A/B 测试来说，这表明当根据实验结果作出拒绝原假设的决定时，其正确的可能性（概率）为 95% 或 99% ；这个决定出错的概率则为 5% 或 1%，可以看作是小概率事件了。

在本案例中：我们将显著性水平 α 设定为 0.05，那么在 P 值等于 0.04 的情况下，我们接受备择假设，也就是接受了B方案！

说了这么多，如果你没有统计学的基础，一定会觉得有点绕。简而言之，记住，我们就是要用统计学工具求出AB测试的P值，然后以0.05作为显著性水平的阈值，我们希望P值越低，实验结果就越可信。否则，P值太大，超过了我们可以接受的阈值，出错的概率也就越高。

当然了，上面对A/B测试背后的统计学知识进行了极度地简化，如果大家有兴趣，可以参考统计学书籍或者《数据分析咖哥十话》的第9话。

04

案例实战

下面，咱们就跟着咖哥开始这次的咖啡壶A、B赠券方案的A/B测试实战。

这个实验是随机选择 1500 个用户并将他们导流到 A 页面，再选择 1500 个用户并将他们导流到 B 页面，然后比较两者的转化率。

具体实战步骤如下：

（1）数据的导入与数据可视化；

（2）比较 A、B 两个版本带来的转化率增量；

（3）用 Scipy 的 stats 模块（统计学工具）中的 ttest_ind() 方法，也就是 t 检验方法求出 P 值，看实验结果是否可信。

第一步，数据导入

该数据集中共有 3000 个用户的记录，输出结果中显示了用户访问的是旧页面（自己领 5 元） 还是新页面（送朋友 5 元），以及收到推荐链接的新用户最终是否购买了该咖啡壶。

第二步 数据可视化

如果我们用饼图展示用户导流至旧页面（A）和新页面（B）的比例，会发现二者各占 50%。这符合 A/B 测试的设计原则。

下面我们分析一下当促销页面变化后，最终的转化率有何改变。

上图中可以看出，新页面的转化数量与旧页面相比有一定的增加。

第三步 计算转化率

计算一下新、旧页面的转化率。

新页面的转化率约为 0.435，它比旧页面的 0.418 略高。

第四步 检验测试结果的统计学意义

用户访问新页面的实验组相对于用户访问旧页面的对照组来说，转化率有所提高。不过，是否能由此就确定该实验是成功的，从而选择新的促销推广方案？是否还有其他影响这一差异的因素呢？要回答这些问题，我们需要检查实验组中的上升趋势是否具有统计学意义。

利用 Scipy 的 stats 模块（统计学工具）中的 ttest_ind() 方法可以轻松算出需要的 P 值，用来检验实验结果的有效性。

输出结果中显示，P 值在阈值0.05之下，因此可以认为测试结果有效。

05

总结复盘

A/B 测试的应用范围非常广，可以在产品设计、市场营销等环节中发挥作用，常用于验证与用户体验相关的改动。

在本A/B测试实战中，马总原以为多数用户还是会选择把新品的5元优惠券留给自己用；可测试结果却表明，如果选择把这5元优惠券赠送给朋友的方案，转化率会更高。这是不是说明了，在网络时代，相较于自己获得优惠，大家更乐于慷慨地将优惠赠与他人呢？

咖哥认为，在应用 A/B 测试时，还有下面几点需要注意：

（1）样本的数量要足够多。

（2）样本需要随机分配，保证两个组类似。

（3）消除其他变量的影响，例如两个组不能一个先测试，另一个后测试。

（4）即使 B方案的转化率比 A方案略高，但是如果 B方案会对其他运营环节造成不利影响， 那也不一定要选择 B 方案。

（5）要保证结果具有统计学上的显著性差异。

（6）从多个角度对结果进行解释，找出 B 方案优于 A 方案的根本原因。

咖哥通过A/B测试帮马总找到了更合适的营销推广方案，这就是数据分析的魅力。

想了解更多有趣又有料的数据分析助理运营增长的案例，让数据思维为自己所用，从而实现业绩增长，突破职业瓶颈，请了解一下这本《数据分析咖哥十话》~

本文节选自《数据分析咖哥十话》一书第9章《君向潇湘我向秦：用 A/B 测试助力促销》，详细内容参见《数据分析咖哥十话》一书。

作者：黄佳 新加坡科技研究局Al资深研究员，前埃森哲新加坡公司资深顾问，二十年IT行业从业经验。机器学习、云计算、SAP专家，曾出版《数据分析咖哥十话》《零基础学机器学习》《SAP程序设计》等多部受读者好评的IT书籍。

黄佳深耕数据科学领域多年，参与过政府部门、银行、电商、能源等多领域大型项目，积累了极为丰富的人工智能和大数据项目实战经验，对数字智能化项目如何落地有深刻的思考和丰富的经验。

本文审校：栾传龙 王旭丹

参考资料：

1.数据分析咖哥十话，人民邮电出版社 2022

2.你所应该知道的 A/B 测试 (A/B Test You Should Know) 范叶亮

,