Skip to main content
推荐文章:做决定前别拍脑袋:两个成功案例看懂A/B测试
本站微文频道仅收录微信文章列表索引
点击这里去看文章全文

本文来自微信公众号:大数据 | 发布时间:2019-02-10 21:15:00

点击查看原文
做决定前别拍脑袋:两个成功案例看懂A/B测试

做决定前别拍脑袋:两个成功案例看懂A/B测试

彭耀 大数据


你的假期已余额不足

这些天你都干嘛了?

宅在家里吃吃喝喝?

去旅游景点看人?

走亲访友接受灵魂拷问?

其实,你的假期可以不那么无聊

这是一个静下心来开启深度阅读的好机会


大数据(ID:hzdashuju)在长假期间

将推送6篇入门级科普,包括:

未来世界 | 健康生活 | 电动汽车

无人驾驶 | AI凛冬 | A/B测试


在猪年的最开头

来一波高能充电!

今天是我们一起充电的第6天



导读:数据分析的本质思想就是考据,对事情进行科学考据分析。


对待每一个观点,是要经过互相考据,才能成立,而不是自我想象。这种科学的认知机制,同样可以引用到做产品上来,促进产品的务实化。


最好的学习方法就是找到方案和原理,然后在具体行动过程中考证。大胆地假设,小心地求证。


作者:彭耀

如需转载请联系大数据(ID:hzdashuju)



01 建立A/B测试


我们再来看一个故事。


二战时英国空军为了降低飞机的损失,决定给飞机的机身进行装甲加固。由于当时条件所限,只能用装甲加固飞机上的少数部位。他们对执行完轰炸任务返航的飞机进行仔细的观察、分析、统计。发现大多数的弹孔,都集中在飞机的机翼上;只有少数弹孔位于驾驶舱。从数据上说,加固机翼的性价比最高。


但实际情况缺恰恰相反,驾驶舱才是最应加固的地方,因为驾驶舱被击中的飞机几乎都没能飞回来。“发声”的数据是最好获取的,但如果没把这些沉默的数据考虑进来,那么这种数据分析是不靠谱的。所以除了数据的结果,还得尝试解读这些数据。而解读数据就完全依赖人了。


人们在做出判断的时候,经常只会看见一个局部的点,而错失了真相。大部分的产品认知,和这个故事所阐释的几乎一样,就是人们看到了一点,就做出了一个新的判断,而事实并不是这样。


所以数据是一个系统工程,人们在采取行动之前,需要先进行测试。数据分析的方法,也是同样的原理,数据分析实践的四个关键步骤:


指标——>假设——>试验——>行动


这和做学问的基本原理是一致的。通过打造A/B测试平台,来验证观念。


A/B测试是为Web或App界面或流程制作两个(A/B)或多个(A/B/n)版本,在同一时间维度,分别让组成成分相同(相似)的访客群组随机的访问这些版本,收集各群组的用户体验数据和业务数据,最后分析评估出最好版本正式采用。


用户A/B测试


A/B测试的好处,主要如下:


  1. 消除客户体验(UX)设计中不同意见的纷争,根据实际效果确定最佳方案;

  2. 通过对比试验,找到问题的真正原因,提高产品设计和运营水平;

  3. 建立数据驱动、持续不断优化的闭环过程;

  4. 通过A/B测试,降低新产品或新特性的发布风险,为产品创新提供保障。


A/B测试的一般步骤如下:


步骤1:找出优化指标


要重点关注第一关键指标,要确定优化指标是留存率、转化率、病毒性分享率,还是营收类指标等。这个指标的选择尤其关键,不同指标的选择会导致不同的行动。


步骤2:提出假设


这种假设,是来自运营,来自增长团队的灵感。可能会是一次具体的推广、一次价格的调整、一个操作的优化、一个界面按钮的位置调整、一个图片的修改、一个文案的推出、一个新功能的推出等。


步骤3:创建试验


找出目标受众,确定试验内容与试验目标,并且确切地了解到试验的目标能够帮助到他们,对他们是有价值的。


以MVP或者在线功能等方式分析试验的结果。


步骤4:具体行动


当结果清晰以后,就知道试验是不是成功的,如果成功就可以在更大的群体中使用。如果不成功,就继续假设,继续试验。



02 A/B测试的两个案例


我们来看一些具体的示例,看他们是如何建立自己的A/B测试。


1. Airbnb数据分析决策实践的故事


2007年,住在美国旧金山的两位设计师——Brian Chesky与Joe Gebbia正在为他们付不起房租而困扰。为了赚点外块,他们计划将阁楼出租出去。传统的做法是在网站发帖子,但因为感觉在网站发帖子太冷冰冰了,所以就自己动手建了一个网站。


当时城里正好举办一个设计展,周边的旅馆都被订满了。他们便很快搭建好了一个简易的网站,开起了“家庭旅店”的生意。网站上包含地板上摆放的三张空气床垫的照片,以及供应家庭自制早餐服务的承诺。很快他们获得了3个租客,每位支付了80美金。


一周后,他们开始陆续收到世界各地人们的电子邮件,询问何时能在世界其他热门旅游目的地享受这样的服务,包括布宜诺斯艾利斯、伦敦、日本。于是他们将这一做法复制到其他大型集会,并允许人们通过信用卡在线支付。


在2008年民主党全国集会期间,奥巴马在科罗拉多州的丹佛发表十万人演说。当时全市只有三万余个旅馆房间,于是Airbnb适时地选择再度在公众面前高调曝光,一度获得了极高的流量和关注,促使Airbnb快速发展。


但是,发展的过程中并没有那么顺利。在2012年一次产品大会上,产品主管乔·扎德向大家讲述了Airbnb的曲折历程,尤其介绍了公司的专业摄影服务。在发展过程中,Airbnb就是根据数据分析实践的四个环节来试验的,尤其以摄影服务为代表。


主要包括如下四个步骤:


  • 步骤1:找出优化指标


Airbnb 想优化的指标是房屋租赁天数。因为只有房屋租赁出去了,对于房东来说,才是最关键的事情。所以就要解决房屋预订量问题。那到底要怎么做呢?不知道。


2010年,Airbnb通过数据分析,看到纽约的房源量一直不断增长,但是订单量却没有增长。按正常应该是同比增长,为了找到原因,Airbnb创始人飞到纽约,去找房东一家家沟通,以便找到问题的关键所在。


经过交流之后发现,原来房东都是直接用手机来拍摄房子,而且不同人拍的效果也不同,有的比较好的漂亮房子拍出来的效果却很一般,整体的房源照片都不是太好。


于是他推断,这有可能是导致用户不选择入住的重要原因。因为现在用户对于居住的要求越来越高,照片如果效果不好,用户的居住意愿就会降低。


  • 步骤2:提出假设


根据实际观察,发现热门租住房屋的照片看起来更专业,常见的投诉是房子的照片和实际上不一样,人们在看了照片之后就放弃了。


于是,就有了一个初步的假设,是不是图片越好看,房子租得越好?更深入的一种假设,即“附有专业摄影照片的房源要更抢手”。这一假设出自Airbnb创始团队的直觉,他们感觉专业摄影服务将有助于业务的开展。


不过,他们并没有立即将想法付诸实践,而是由主动来分析,以MVP的方式来验证假设。


  • 步骤3:实验


最终方案是由Airbnb一家家去拍成漂亮图片,并标准化尺寸,逐步批量上传到网站上去。MVP最初的测试表明,附有专业摄影照片的房源所获订单数是市场平均值的2~3倍。这验证了创始团队最初的假设。


  • 步骤4:行动


到了2011年下半年,Airbnb雇用了20名专业摄影师,以帮助平台上的房主拍摄房屋照片。几乎就在同一时间段,Airbnb的订单量呈现出了我们常说的“曲棍球棒曲线”式的增长。


▲20人的摄影团队加之房主的空闲房屋,订单访问量大增


结果是,一个月左右,订单量翻了2倍。就这样以纽约为范本,往各地复制,整个网站的订单量都获得了大幅提升。Airbnb培养了一支专业的摄影队伍,为房源提供了专业漂亮的图片,自此以后Airbnb获得了快速发展。


▲Airbnb旅行中,像当地人一样生活


七年之后,Airbnb享誉全球,其夜间租住的房间预定量甚至一举超过了酒店巨头希尔顿。


Airbnb的数据驱动文化,是提出假设,从假设开始演绎,获得方案,并通过数据来验证,以此来为决策提供依据。每一个决策都应该通过数据来验证。


2. Pinterest的数据分析实践


Pinterest是美国的一个图片分享类社交网站,Pinterest(Pin+Interest)意为把自己感兴趣的东西用图钉钉在钉板(PinBoard)上,用户可以按主题添加和管理自己的图片收藏,并与好友分享,页面底端自动加载无须翻页,可让用户不断发现新图片。


Pinterest就是家庭妇女和欧美主妇的天堂,它是一家以兴趣为基础的社交网络,通过图片墙Pinboard发布图片。Pinterest以图片瀑布流展示图片。2011被评为“美国最受欢迎的十大社交网络”,并以月增长45%的速度赶超Google+,成为了2011年美国社交网络中的一匹黑马。

    

▲Pinterest手机端


作为一家数据驱动的公司,Pinterest非常依赖试验来指导产品和功能迭代。Pinterest建立了一个支撑日均1000+次试验的A/B测试平台。随时都有大约1000个试验在进行,并且试验的数量每天都在增加。


因为试验数量和相应记录数据的持续增加,为了让试验更加简单方便,于是向工程师提供一个可靠易用的A/B测试平台。 


测试平台可以达到如下目标:


  1. 通过初始设置创建试验,建立假说,记录验证该假说的方法。

  2. 将试验披露给 Pinners ,增加新群组和禁用组,通过筛选器来优化用户。

  3. 结束试验时,将代码提交给所有的 Pinners ,或者回滚代码并记录试验结果(根据试验结果决定提交新代码或回滚)。


这个平台非常方便业务和分析团队快速做测试,帮助他们检查规划与假设,查看关键结果,以及触发逻辑,结果验证等。


关于作者:彭耀,象形科技联合创始人兼CTO,典型的产品型和技术型管理者。资深的大数据专家、人工智能专家和产品专家,有近20年的开发和产品经验。

本文摘编自《升维:争夺产品认知高地的战争》,经出版方授权发布。


延伸阅读《升维:争夺产品认知高地的战争

点击上图了解及购买

转载请联系微信:togo-maruko


推荐语:产品型管理者和创业者必读书,从认知格局、体系和方法论三个层面为升维产品认知提供科学指导。从100余位世界高级产品型创始人和管理者的产品认知中总结出1幅全景认知画布、5大认知升维工具,9大类40项高维认知,200个精彩产品案例。



我们正在绘制一份大数据粉丝画像——

2019大数据粉丝有奖调查问卷上线了

欢迎长按二维码填写

我们每周一将从参与者中

随机抽取3名幸运小伙伴

每位将获赠近期出版的技术类图书1本


猜你想看




Q: 你都在哪些项目中应用过A/B测试?

欢迎留言与大家分享

觉得不错,请把这篇文章分享给你的朋友

转载 / 投稿请联系:baiyu@hzbook.com

更多精彩,请在后台点击“历史文章”查看

点击阅读原文,了解更多

    阅读原文

    发送中

    点击查看原文
    本文来自微信公众号:大数据
    发布时间:2019-02-10 21:15:00

    微信号:hzdashuju
    简 介:大数据蕴藏着丰富的信息和价值,如何处理好大数据并发掘其潜藏的商业价值,这是大数据时代的新挑战。我们将为大家提供与大数据相关的最新技术和资讯。



    本站文章为自动抓取,如有相关转载权限问题
    请邮件:admin@caup.net
    其他推荐
     

    用微信扫一扫