知乎上有两个关于A／B测试很有意思的讨论：为什么A／B测试很靠谱，在国内却没有大范围应用？做 A/B 测试的Optimizely 融资5700万美元，靠谱吗？

所谓A/B测试,也被称为对比测试，是指为同一产品制定两种方案，在保证所有条件都相同，仅有一个变量的情况下，测试方案A和方案B的使用情况，并依此确定最优方案。这种测试方法最早用于药物研发，后由于其对产品迭代和快速试错有重要意义，逐渐盛行于互联网和移动互联网端产品测试。

从2010年开始，Optimizely、Leanplum、Splitforce等A／B测试服务公司相继成立，其中Optimizely在2014年拿到5700万美元B轮融资，优化了70亿次网页体验，并创造了超过50万次实验。微软、索尼、星巴克均是其客户。趋势上，一方面，“数据驱动”越来越被认可；另一方面，A／B测试逐渐由Web端向移动端发展。

众多互联网巨头是A／B测试的“信徒”，其中Google是目前A／B测试经验最丰富的公司。曾在Google负责广告产品质量的王晔告诉创业邦，Google的网页调整、新产品改进，任何一个参数变动都会进行A／B测试。有意思的是，在Google搜索结果里，当把广告和搜索结果稍做调整，比如广告左移一个像素，就会带来广告点击量的提升进而导致营收几千万美元的变化，但把广告左移两个像素，营收就会下降。

王晔是耶鲁大学的博士，专注于计算机网络系统设计及优化研究，Google的经历让他对A／B测试无比着迷，并在2014年回国创业，创办吆喝科技，开发了AppAdhoc A/B 测试云服务平台，专攻移动产品与广告优化，2015年4月该平台正式上线。

（吆喝科技创始人：王晔）

但他也必须面对国内现状：A／B测试曲高和寡，根据知乎讨论结果，就工具本身原因有三：第一，A／B测试要求用户量，国内有能力的公司一般自己研发，初创公司用户基数太小，成本较高；第二，门槛高，要求整个团队从管理、协作、设计、开发和运营各个流程全部紧密协作，否则很可能出现“不知道怎么做、做了却无法正确评估、评了又未必能好好利用、用了不一定能收到效果”的结果；第三，国内用户差异化太大，A／B测试容易得出错误结论。

怎么破？

吆喝科技的做法是根据开发者发展阶段提供差异化功能：针对成熟APP优化提供线上多版本 A／B测试工具，刚刚上线的APP可利用AppAdhoc的灰度发布功能；版本更新阶段可利用A／B测试不断优化，版本稳定阶段可优化广告与营销流程，支持growth hacking;对于体量大的APP，重点从移动广告切入，提供移动产品与广告优化服务。

差异化的关键在于用户量。“低频次产品测试时间需要更长。一般日活在10000名用户，2～3天可完成测试。但我们鼓励用户多试验几天，开始时候至少测7天。”

线上多版本 A／B测试方法是：同时上线AB两个版本，让一部分用户看到A版本，另一部分用户看到B版本，然后对比用户的点击、页面停留时间、跳出等数据，选出更好的版本。

（A／B测试功能）

“由于影响用户转化、付费的核心产品模块往往是产品设计中最耗费精力又难以抉择的部分，原本仅依靠产品经理的经验和直觉决定，但顶级的pm也只能跑赢一半的 A／B测试。数据驱动的思想是利用数据帮助做决策，要看长期的结果。”王晔认为，以一款成熟的电商APP来说，假如产品在加入价格标签后带来点击率下降一半，这是否是坏事？产品经理可以看一下购买转换率，如果提高了2倍，营收增加，说明产品设计更成功，点击更有效。

灰度发布的方案是产品经理可随时线上小规模部署新版本，让小部分用户先使用新版本，对比旧版本的使用状态，明确产品改进方向。好处是通过一键切换至线上指定版本，无需通过应用市场更新。在创业邦看来，无需7天应用商店审核，迅速发现问题快速迭代，这一功能对早期初创公司而言很有价值。

移动广告切入，“做大单”

企业服务今年大火，但产品一般定位于为中小企业客户提供标准化产品，而A／B测试

本身特点决定了无法如此。即使灰度发布功能对于小公司是一大诱惑，但却无法真正发挥A／B测试的价值。

创业邦了解到，除了百度、大众点评、知乎等大公司有自己的A／B测试工具，目前国内提供A／B测试的公司并不多，而吆喝科技的收费模式是按照试验流量收费，但目前还是推广、免费阶段。新市场如何培育？

王晔选择从自己最擅长移动广告行业切入。一方面，国内移动广告尚在起步阶段，创业邦从行业内人士了解到，“整个移动广告行业有大概300亿美元的市场规模，参与其中的更多是来自互联网和移动互联网的行业中人。行业发展不健康，移动广告多是APP互推的模式。”另一方面，移动数字广告是许多APP流量变现的重要手段，而为了用户体验，原生广告越来越成为选择。

针对此，吆喝科技的做法是通过A／B测试帮助各种类型自研原生广告达到更优的流量变现效果，同时提供原生广告产品支持。这也决定了其商业模式：开放平台给所有开发者，从大客户着手，“针对他们的定制化要求，提供服务。”其次，进行广告业务的合作。目前，吆喝科技的客户包括滴滴出行、五粮液、小红书、野糖网、葡萄科技、技德科技等80多家公司。

吆喝科技目前已拿到Frees和极客邦百万美元级投资，王晔计划今年增强销售团队，深耕商业模式。