暖石网
nuanshi
登录 | 注册
数据分析篇23:用AB测试选择最佳的广告方案5分10秒
好的推广不是大家想象中的“一语惊醒梦中人”,而是通过反复测试得出的科学结论。这节课,教你用AB测试,从多种推广方案中选择最靠谱最有效的一种。
课程问答

老师您好,我想了解一下,AB测试一般是同时投放,还是先投放A,过一段时间再投放B?

天然小卷卷 2017-08-22 12:23
暖石网 2017-08-22 15:42

最好同时投放,否则变量就会增多,AB测试就无效了。

老师,针对一个产品,我做了一个活动,文案一样,只是呈现方式做了两种。打算用微博粉丝通做AB测试,看哪种带来的效果好。那么在多种维度的选择上都是一样的么?是要在同一个时间段发么?如果选择的目标人群都是一样的,又是同时发送,会不会出现,被发送到的用户会同时看到我发的这两条活动微博么?
小民 2017-08-17 00:04
暖石网 2017-08-17 10:02

是有可能会同时看到,但是概率不一定很大,具体你要问一问新浪那边。

数据广告投放检测没听明白,能不能具体讲讲,视频语速有点快!

暖石网 2017-08-14 15:31

哪一点不明白?

。927 2017-08-14 16:06
比如:应该怎么去详细设置监测链接的问题?等一些详细的操作。还有投放不同的渠道会有哪些限制?微信的内容怎么投放出去收取链接?等等
。927 2017-08-14 16:06
收取反馈信息,不好意思,打字快了~
暖石网 2017-08-15 10:46

“应该怎么去详细设置监测链接的问题?”——设置问题?这个没有看懂。不同渠道不会有什么限制,只要做出了监测链接就都可以投放的。微信的内容是无法做监测链接的。

老师,有没有这样的可能,在AB测试的时候B最差,但再扩大投入测试的时候A又变差,如果这样不稳定的话怎么办?
DQ丶,神奇的人!!! 2017-06-28 15:53
暖石网 2017-06-28 16:44

不会出现这种可能性。

补充一下,我们公司目前有百度竞价和360竞价推广
空气 2017-06-08 11:05
公司要做个新网站,领导要我规划网站,网站的AB测试要怎样做呢,美工和程序都要花钱的,做2个版本领导应该不会接受,领导还没有ab测试概念,我们网站功能还是比较复杂的,有社区、百科等站内站系统,还要保证seo效果、定位更加垂直客户。对于AB测试,我也感到无所适从。
空气 2017-06-08 10:43
暖石网 2017-06-08 15:41

先做出来,没有资源的时候以人力聊天为主,小规模改动。你需要的是演练好数据分析+优化网站的方法和思路,为下一份工作做准备。

空气 2017-06-09 13:29
下一份工作是指跳槽另一家公司么
暖石网 2017-06-09 18:08

是的。

君哥,你说唯一的变量是版本内容不同,但我看到了2次推广的流量也是不同的,这不也是一个变量吗,我没用过粉丝通,我觉得花同样的钱,同样的人群定位设置应该是获得同样的流量呀,我觉得同样的流量,同样的钱测试的结果才能更准确
空气 2017-06-08 10:30
暖石网 2017-06-08 15:39

投放的标准定了之后,看到这条推广的人数和质量是一样的,你说的流量不同,是你看错了,课程里讲的是点击的人数不同。

空气 2017-06-09 13:39
您说的推广人数是指独立访客人数相同么 也就是说二次推广独立访客数相同,点击数不同,A推广的同一访客点击了很多次?粉丝通是按照独立访客数收费的,是这样么?
暖石网 2017-06-09 18:08

看到微博的人数是相同的,GA里面查看的不是看到微博的人数,而是点击了链接的人数。粉丝通是按照浏览量收费的,跟独立访客没有关系。

空气 2017-06-12 09:49
粉丝通是按照微博的浏览量收费而不是网站浏览量的?我理解的Unique Visitor 独立访客就是点击链接的人数,是我对独立访客的理解错了么,
暖石网 2017-06-12 10:09

粉丝通是按照微博的浏览量收费而不是网站浏览量的:是。

问题2:灰度发布,可以针对同一款产品的不同版本让同一批少量人使用,然后收集大家对不同版本的好感度(注意同一批人);另一种情况,针对同一款产品的一个版本,少两人测试,然后收集好感度。理解对吗?
思源 2017-06-07 00:41
暖石网 2017-06-07 11:07

差不多;如果你感兴趣的话,建议查询一下有关增长黑客的知识,暖石不会对此做过多讨论。

思源 2017-07-13 00:33
谢谢哈
暖石网 2017-07-13 06:05

别客气,有问题来问。

问题1:您最后提到的灰度发布,假如暖石做了一个产品的两个版本,是不是每一个版本都给少量的 “同一批” 用户去用?这批用户怎样筛选? 另外,如果暖石针对新产品就做l了一个版本,那么可以针对同一批人进行灰度发布?那考量的维度是什么?这种情况下意义何在呢?
思源 2017-06-07 00:36
暖石网 2017-06-07 11:06

这批用户随机筛选,以此才能反映真实数据;考量的维度是做产品的时候确定了的,比如新版本要提高注册率等等。

老师,您好,本节课我有两个问题,希望能得到老师的指点~ 1、AB测试在内容和渠道的测试方面都适用,用控制变量法,以需要测试的对象为唯一变量,进行测试,回收数据后作对比分析,得出效果最好的一个,这样理解AB测试对吗? 2、当备选项超过两个时,这些备选项是可以同时进行测试,逐渐淘汰差的,选出最好的呢?还是需要用排列组合的方法两两测试呢?
暖石网 2017-04-11 17:53

1,这样理解对。2,如果能力允许,可以采用一个对照组+n个实验组的方式来做测试,比如a组就是本来的页面,b/c/d/e/f组是有着不同改动的页面。

老师好,这个A/B测试是不是就是做两个广告来源的网址,然后根据广告的来源去监测效果呀? 谢谢
暖石网 2017-04-01 15:38

你说的是最简单的AB测试,继续学习,希望你能够说出更多有关AB测试的理解。

课件里面提到的A,B方案是比较理想的情况,A有5个转化,B只有1个转化,但是现实中,万一A和B在一天的测试下,都是0转化,那么怎么筛选呢?
暖石网 2017-02-01 15:18

把这个测试的时间放在一个相对长一点的周期内,比如一周,这偶然一天的数据异常是没有影响的。

老师,怎么实现只有一部分人可见的灰度发布?
暖石网 2016-12-06 10:32

这个要问你们的工程师了。

老师,如果出现A和B的内容,监测结果出来,数据和转化都差不多的时候,是随便选择一个版本内容还是继续测试呢?
暖石网 2016-09-05 13:08

需要进一步的测试出更好的效果

爱看韩剧的男人 2016-09-05 14:27
那就是说,继续做出内容测试,找到明显好的内容是吧。谢谢,老师。
暖石网 2016-09-05 20:13

继续修改内容找到可以带来更好效果的那个

视频中的例子是比较理想的情况,那如果我两个都投放了,但是两个都是零转化。那怎么比较哪个好坏呢?
暖石网 2016-08-29 17:21

两个都是0转化需要你分析原因,根据带来的流量、平均停留时长再进行分析,选出最好的再修改进一步测试。

老师,我们在计算转化的时候,会不会出现这样一种情况:有个人通过微博的推广进入了我们暖石的网站,但是我们商品的价格大概在几千块的水平。可能很少有人会一次性就付款,他可能会隔两天在百度上搜索一下,然后又来付款。那么这种情况下,这个人算不算在我们最终计算的转化率里面?
暖石网 2016-07-31 20:08

会,这里需要用到谷歌的多渠道归因模型,可以看下这篇文章:http://www.nuanshi100.com/question/13770444

在做AB测试的时候,比如在同一渠道测试不同的文案效果,一般内容测试要间隔多久?不能同时发布内容两个内容吧?如果间隔一个星期去看效果,对于系统性变量(时间段变了,渠道用户数量会不一样)产生的影响应该是微乎其微吧
暖石网 2016-07-29 17:07

没有固定的间隔时间,一般以1-3天。一把不选择同时发布。间隔1周的变量很小。

灰度测试是挑选一小部分用户,用A、B两个版本测试哪个版本效果好,然后把效果好的推广到所有用户。灰度发布是先做用户调查,然后把小样给小部分用户使用,进行调整。然后再向更多的用户发布。对吗?
暖石网 2016-06-05 13:08

对的,先进行测试,再调整后发布。