暖石网
nuanshi
登录 | 注册
数据分析篇23:用AB测试选择最佳的广告方案5分10秒
好的推广不是大家想象中的“一语惊醒梦中人”,而是通过反复测试得出的科学结论。这节课,教你用AB测试,从多种推广方案中选择最靠谱最有效的一种。
课程问答
补充一下,我们公司目前有百度竞价和360竞价推广
空气 2017-06-08 11:05
公司要做个新网站,领导要我规划网站,网站的AB测试要怎样做呢,美工和程序都要花钱的,做2个版本领导应该不会接受,领导还没有ab测试概念,我们网站功能还是比较复杂的,有社区、百科等站内站系统,还要保证seo效果、定位更加垂直客户。对于AB测试,我也感到无所适从。
空气 2017-06-08 10:43
暖石网 2017-06-08 15:41

先做出来,没有资源的时候以人力聊天为主,小规模改动。你需要的是演练好数据分析+优化网站的方法和思路,为下一份工作做准备。

空气 2017-06-09 13:29
下一份工作是指跳槽另一家公司么
暖石网 2017-06-09 18:08

是的。

君哥,你说唯一的变量是版本内容不同,但我看到了2次推广的流量也是不同的,这不也是一个变量吗,我没用过粉丝通,我觉得花同样的钱,同样的人群定位设置应该是获得同样的流量呀,我觉得同样的流量,同样的钱测试的结果才能更准确
空气 2017-06-08 10:30
暖石网 2017-06-08 15:39

投放的标准定了之后,看到这条推广的人数和质量是一样的,你说的流量不同,是你看错了,课程里讲的是点击的人数不同。

空气 2017-06-09 13:39
您说的推广人数是指独立访客人数相同么 也就是说二次推广独立访客数相同,点击数不同,A推广的同一访客点击了很多次?粉丝通是按照独立访客数收费的,是这样么?
暖石网 2017-06-09 18:08

看到微博的人数是相同的,GA里面查看的不是看到微博的人数,而是点击了链接的人数。粉丝通是按照浏览量收费的,跟独立访客没有关系。

空气 2017-06-12 09:49
粉丝通是按照微博的浏览量收费而不是网站浏览量的?我理解的Unique Visitor 独立访客就是点击链接的人数,是我对独立访客的理解错了么,
暖石网 2017-06-12 10:09

粉丝通是按照微博的浏览量收费而不是网站浏览量的:是。

问题2:灰度发布,可以针对同一款产品的不同版本让同一批少量人使用,然后收集大家对不同版本的好感度(注意同一批人);另一种情况,针对同一款产品的一个版本,少两人测试,然后收集好感度。理解对吗?
思源 2017-06-07 00:41
暖石网 2017-06-07 11:07

差不多;如果你感兴趣的话,建议查询一下有关增长黑客的知识,暖石不会对此做过多讨论。

问题1:您最后提到的灰度发布,假如暖石做了一个产品的两个版本,是不是每一个版本都给少量的 “同一批” 用户去用?这批用户怎样筛选? 另外,如果暖石针对新产品就做l了一个版本,那么可以针对同一批人进行灰度发布?那考量的维度是什么?这种情况下意义何在呢?
思源 2017-06-07 00:36
暖石网 2017-06-07 11:06

这批用户随机筛选,以此才能反映真实数据;考量的维度是做产品的时候确定了的,比如新版本要提高注册率等等。

老师,您好,本节课我有两个问题,希望能得到老师的指点~ 1、AB测试在内容和渠道的测试方面都适用,用控制变量法,以需要测试的对象为唯一变量,进行测试,回收数据后作对比分析,得出效果最好的一个,这样理解AB测试对吗? 2、当备选项超过两个时,这些备选项是可以同时进行测试,逐渐淘汰差的,选出最好的呢?还是需要用排列组合的方法两两测试呢?
暖石网 2017-04-11 17:53

1,这样理解对。2,如果能力允许,可以采用一个对照组+n个实验组的方式来做测试,比如a组就是本来的页面,b/c/d/e/f组是有着不同改动的页面。

老师好,这个A/B测试是不是就是做两个广告来源的网址,然后根据广告的来源去监测效果呀? 谢谢
暖石网 2017-04-01 15:38

你说的是最简单的AB测试,继续学习,希望你能够说出更多有关AB测试的理解。

课件里面提到的A,B方案是比较理想的情况,A有5个转化,B只有1个转化,但是现实中,万一A和B在一天的测试下,都是0转化,那么怎么筛选呢?
暖石网 2017-02-01 15:18

把这个测试的时间放在一个相对长一点的周期内,比如一周,这偶然一天的数据异常是没有影响的。

老师,怎么实现只有一部分人可见的灰度发布?
暖石网 2016-12-06 10:32

这个要问你们的工程师了。

老师,如果出现A和B的内容,监测结果出来,数据和转化都差不多的时候,是随便选择一个版本内容还是继续测试呢?
暖石网 2016-09-05 13:08

需要进一步的测试出更好的效果

爱看韩剧的男人 2016-09-05 14:27
那就是说,继续做出内容测试,找到明显好的内容是吧。谢谢,老师。
暖石网 2016-09-05 20:13

继续修改内容找到可以带来更好效果的那个

视频中的例子是比较理想的情况,那如果我两个都投放了,但是两个都是零转化。那怎么比较哪个好坏呢?
暖石网 2016-08-29 17:21

两个都是0转化需要你分析原因,根据带来的流量、平均停留时长再进行分析,选出最好的再修改进一步测试。

老师,我们在计算转化的时候,会不会出现这样一种情况:有个人通过微博的推广进入了我们暖石的网站,但是我们商品的价格大概在几千块的水平。可能很少有人会一次性就付款,他可能会隔两天在百度上搜索一下,然后又来付款。那么这种情况下,这个人算不算在我们最终计算的转化率里面?
暖石网 2016-07-31 20:08

会,这里需要用到谷歌的多渠道归因模型,可以看下这篇文章:http://www.nuanshi100.com/question/13770444

在做AB测试的时候,比如在同一渠道测试不同的文案效果,一般内容测试要间隔多久?不能同时发布内容两个内容吧?如果间隔一个星期去看效果,对于系统性变量(时间段变了,渠道用户数量会不一样)产生的影响应该是微乎其微吧
暖石网 2016-07-29 17:07

没有固定的间隔时间,一般以1-3天。一把不选择同时发布。间隔1周的变量很小。

灰度测试是挑选一小部分用户,用A、B两个版本测试哪个版本效果好,然后把效果好的推广到所有用户。灰度发布是先做用户调查,然后把小样给小部分用户使用,进行调整。然后再向更多的用户发布。对吗?
暖石网 2016-06-05 13:08

对的,先进行测试,再调整后发布。