A/B测试成为字节跳动投入toB市场嘅法宝

转载：本文来自微信公众号“中欧商业评论”（ID:ceibs-cbr），作者：孙梦遥，转载经授权发布。

一直以来，业界普遍将字节成功要素归纳为两个因素，一是OKR，二是A/B测试。如果说OKR是飞书嘅重要组成部分，强调组织管理机制嘅设计理念，A/B 测试则是火山引擎嘅重要一环，强调数据驱动，智能激发增长。

CBR精华抢先睇：

01. 快速扩张通常意味住愿意为提高增长率而牺牲效率。但是，当快速扩张发生喺确定环境度，可以充分认识和预测成本，呢一过程能够体现出经典嘅公司管理方法。

02.A/B测试提供嘅系科学决策嘅一种可行性路径，通过快速小流量嘅试错实验，效规避‌经验系统嘅唔准确性和思维系统嘅唔及时性，以此帮助企业完成可模仿可衡量嘅洞察式增长。

03.对于擅长快速增长嘅字节跳动而言，今日头条、抖音等消费级互联网产品唔过系一座火山喷发出来嘅火焰，其根本价值喺于火山底部嘅根基——组织能力和技术能力。

从2012年至今，字节跳动的确越来越成长为一个Super Company，业务遍及新闻资讯、文娱、电视、教育、游戏等诸多领域，尤其擅长以数据驱动、内容推荐等机制打造现象级产品。

业界内外太多人对字节跳动嘅高效增长法则充满好奇。2021年4月20日，字节跳动副总裁杨震原喺火山引擎技术开放日上提到‌一个词——“A/B测试”，或者提供‌答案。

作为字节跳动组织内部管理决策嘅工具，A/B测试拥有可量化、可拆解、可衡量等诸多特点，本世纪初喺硅谷被广泛用于网页开发，更多地应用喺数据部门。20年后嘅今日，唔止互联网企业，几乎所有行业、所有部门都喺度讨论点样利用完整嘅数据驱动体系来明确企业内部决策，从而获得业务嘅高速有效增长。

面对唔确定嘅商业环境，提高决策嘅水平和质量是每个企业嘅刚需。管理学大师彼得·德鲁克曾指出：企业有效决策必然建立喺“各种意见”嘅基础上，甚至从多种唔同且相互冲突嘅见解中产生。没有人能完全克服自己处理信息时嘅固有偏见。

字节跳动旗下嘅B端产品火山引擎将A/B测试植入到产品模块之度，通过验证每一步决策嘅合理性，为组织内部嘅增长决策补充有效信息，从而帮助企业管理者克服自利性偏差，达成科学决策。

“唯快唔破”嘅背后

那么点样从科学决策嘅层面，睇待原本用于网页开发嘅A/B测试所贡献嘅价值？以抖音起步阶段，字节跳动内部嘅决策为例。

2016年4月，字节跳动决定进军短视频领域，先后推出‌三款短视频App。

火山小视频，对标快手，以下沉市场嘅UGC为主；头条视频（西瓜视频），对标是秒拍，同今日头条深度绑定，以PGC/OGC为主；另外一款是抖音，种子用户是大城市白领、海归、大学生，囊括‌UGC/PGC。

喺上线初期，字节跳动对这三款产品都无明显嘅资源倾斜，甚至西瓜视频由于今日头条嘅流量输送，崛起得更快。但从2017年开始，每隔几个月，抖音嘅流量都会剧烈攀升：从大学生、城市白领到二三线城市居民，抖音覆盖‌唔同年龄段、唔同收入层次嘅用户。

结合上述对比，字节决定对抖音进行资源倾斜。从某种程度上说，抖音嘅胜利正系依靠A/B测试所作出嘅科学决策。

喺国外，类似Facebook、Google、亚马逊等互联网公司也喺好早前就开始使用A/B测试。

早期，亚马逊喺自己嘅电商网站上推广信用卡广告时，将广告放喺购物页面里，几乎无人问津，浪费‌宝贵嘅广告位资源。当业务经理尝试将这条广告放喺结算页面时，用户就会发现这张信用卡嘅好处。业务经理通过A/B测试嘅实验数据发现，将广告改为放喺结算页后，用户就会发现这张信用卡嘅好处，从而带来显著嘅营收增长。

唔好小睇呢种方法带来嘅商业价值。之前，回国创业增长公司、原Google广告质量控制部门工程师王晔喺接受媒体采访时也曾表达：仅用A/B测试优化带来嘅增长收益，每年就能为Google带来100亿美元营收。

喺国内字节跳动以擅用A/B测试知名，对此，张一鸣并唔否认，“我哋跟踪一个个Bug，做用户访谈，做A/B测试是务实，但我哋也有想象力，也浪漫。信息创造价值是我哋嘅务实，记录美好生活是我哋嘅浪漫。”

一个成功嘅故事总是会轻易打动读者嘅心，因为佢提供‌一个简单嘅关于成功嘅热血信念。人热衷于津津乐道于成功背后嘅轶闻趣事，将其简化为某种极致理念嘅胜利，却忽略‌其背后各种因素嘅权衡、取舍。

实际上，A/B测试唔系唯数据论，也唔系数据至上，更多嘅系为‌让企业快速增长嘅战略有迹可循，有法可依。喺《闪电式扩张》一书，里德 · 霍夫曼（Reid Hoffman）喺复盘‌苹果、谷歌、亚马逊等高速增长公司嘅秘诀后指出，仅有增长称唔上闪电式扩张。快速扩张通常意味住愿意为提高增长率而牺牲效率。但是，当快速扩张发生喺确定环境度，可以充分认识和预测成本，呢一过程能够体现出经典嘅公司管理方法。

A/B测试正系通过设置对照组，提供相对确定嘅环境，为企业增长提供获得市场份额或试图实现收入里程碑嘅良好策略。

或者可以咁样讲，对于擅长快速增长嘅字节跳动而言，今日头条、抖音等消费级互联网产品唔过系一座火山喷发出来嘅火焰，其根本价值喺于火山底部嘅根基——组织能力和技术能力。这两大能力分别产品化为‌飞书和搭载A/B测试功能嘅火山引擎。

“洞察式”嘅增长战术

比起字节跳动喺TOB市场嘅明星产品飞书，火山引擎颇有啲“养喺深闺人未识”嘅味道。但实际上火山引擎隐含住巨大嘅潜能。火山引擎脱胎于字节跳动多年来嘅技术积累，并沉淀出一套完整、体系化嘅字节跳动增长战术。

火山引擎负责人肖默喺2020年就曾表示：“字节跳动作为一家全球化互联网公司，喺过去8年中迅速成长，喺呢一过程度，唔断积累嘅技术能力、增长理念和运营工具起住至关重要嘅作用。推出火山引擎，是希望将服务字节跳动从0到1、从1到N嘅能力同工具产品化、服务化，并开放畀更多行业同合作伙伴，帮助大家嘅业务快速发展、提升竞争力。”

那么火山引擎提供嘅A/B测试模块系点样利用洞察式嘅技术能力、体系化嘅增长理念同完善嘅运营工具赋能第啲企业嘅呢？以坚果云嘅用户裂变文案为例。

作为一款喺业内颇具辨识度嘅专业网盘产品，坚果云为做品牌宣传喺产品页上设计‌红包裂变活动，但喺敲定分享页面文案时，企业内部喺文案风格上产生‌分歧。

现金吸引OR夸奖用户？边种风格嘅文案能够激发用户嘅分享欲望，最大化市场活动ROI？坚果云没有选择经验主义式嘅内部拉群投票，而是同火山引擎数据优化师携手合作，通过A/B测试模块分出小流量进行两种风格文案嘅快速试错。最后根据用户数据结果为决策依据，喺95%嘅置信水平下，“夸奖用户”文案胜出，活动参同投票人数指标正向提升36%，活动分享人数指标正向提升117%。最终，坚果云喺呢次推广活动中全量上线‌「夸奖用户」文案。

和坚果云类似，悟空租车团队也系喺搭载‌火山引擎A/B实验产品后，设计‌对照组实验，喺押金支付前置OR后置嘅对比中明确‌用户感知成本，从而喺提升用户体验嘅同时，也为平台带来‌7%嘅收入增长。

2001年诺贝尔经济学奖得主丹尼尔·卡尼曼，致力于研究点样喺唔确定状况下做出科学决策。佢喺《思考，快同慢》一书中阐述‌两种思维模式：反应迅速嘅经验系统和深思熟虑嘅思维系统。前者基于模式识别，剩只需要有限信息，即可做出快速决策，快速但唔准确，适合解决极端和突发嘅问题。后者基于分析推理，往往需要大量信息和推演，先能获得答案，准确但唔及时，适合解决抽象和复杂嘅问题。

A/B测试正系通过快速小流量嘅试错实验，依据信息推演，拆解决策步骤，有效规避‌经验系统嘅唔准确性和思维系统嘅唔及时性。从呢个角度来睇，火山引擎嘅A/B测试模块提供是科学决策嘅一种可行性路径，以此帮助企业完成可模仿可衡量嘅洞察式增长。

正如字节跳动副总裁杨震原喺火山引擎技术开发日分享上所说，“A/B测试睇上去好复杂，要分组，仲要要睇因素系唔系剥离干净嘎啦。但是当你真正将一个事搞清楚以后，就可以一个台阶一个台阶往上走。如果你搞唔清楚，做得好快，有可能今日上一个台阶，明天下一个台阶，后天上一个台阶，唔可以保证一直喺前进，呢是非常大嘅差别。“

这喺一定程度上遵循‌管理学大师彼得德鲁克喺《管理实践》中所提出嘅SMART原则。比如，启动A/B测试嘅首要条件就喺于目标明确，即SMART原则中嘅S（SPECIFIC）。失焦，模糊目标正系管理者决策中嘅大忌。美国兰德公司决策执行顾问马利奥曾讲：“世界上每1000家倒闭嘅企业当度，85%是因为企业决策者嘅决策唔慎造成。”

杨震原回忆自己刚入职今日头条时，接到嘅第一项任务系点样提升今日头条嘅用户体验，将推荐做得更好。传统嘅做法是尽可能认识用户画像，明白佢哋钟意乜嘢、讨厌乜嘢，但实际上用户画像好难评估系唔系全面、精准，比如一般人都说自己钟意旅游，但好多人并唔睇旅游类文章，杨震原认为用户画像并唔系正确嘅目标。正确嘅目标应该是层次合理，可衡量嘅。

人容易被动机性推理，也就是先入为主嘅观点所影响。一旦某种想法根深蒂固，他就会收集和加工能支撑呢种想法嘅依据，并忽视第啲有价值嘅信息。因此喺科学决策度，目标嘅明确、精准尤为重要。

面对有住唔确定性嘅未来做决策时，A/B测试能够拆解动作，令增长有迹可循，规避组织内部嘅自利性偏差和动机性推理，从而显著提高成功嘅概率。

唔过需要注意嘅系，SMART 原则并唔直接为某种愿景、理念服务，而是为‌达到呢种愿景或理念而设定嘅可量化、可描述嘅目标而服务。喺1981年12月发行嘅《管理评论》杂志上，作者George Doran将Goals 定义为连续而长期嘅执行理念或愿景，将 Objectives 定义为达成愿景所做出嘅量化描述，佢可能系短期嘅，也可能系长期嘅。SMART 原则服务嘅系Objectives，而非Goals。

一家公司真正嘅战略决策可能一年也唔会有几次，但是局部决策即Objectives却可能好多。这时通过量化分析和A/B测试，可以喺相当大范围内降低决策风险，提高决策质量。主打短期小流量快速试错嘅A/B测试，更似是指导企业增长嘅战术打法，而非宏观战略。

真正想去做一个科学决策，是好难有完美方法嘅，只有无限接近完美。

字节跳动高级副总裁陈林，喺2018年分享‌自己对A/B测试嘅睇法，佢认为外界盛传今日头条完全依赖A/B测试做产品系一种误解。喺A/B测试之外，今日头条仲有坚持‌7年以上嘅全员参同嘅用户访谈。每年春节，所有员工都会喺节前接到公司嘅一份作业：提醒每个员工春节翻屋企嘅时候必须做 6 个用户访谈。公司管理层会集体还会去偏远省份进行密集访谈。至2018年，字节跳动已保存‌十几万份用户访谈嘅资料。

将A/B测试、专家决策、用户访谈等方式结合，是今日头条沉淀嘅方法论。一直以来，业界普遍对字节成功要素主要归纳为两个因素，一是OKR，二是A/B测试。如果说OKR是飞书嘅重要组成部分，强调组织管理机制嘅设计理念，A/B 测试则是火山引擎嘅重要一环，强调数据驱动，智能激发增长。

面向B端市场嘅初心

但火山引擎为企业提供嘅并非只有A/B 测试，而系一套完整嘅数字驱动方案。2020年8月，火山引擎推出企业级直播SaaS服务功能，将抖音、西瓜视频等明星App嘅技术能力和成熟经验沉淀到产品度，企业可以立即将直播工具无缝融入到业务动作当度，从而快速拥有千其级并发无卡顿嘅直播体验。中国移动正系喺其APP内搭载‌火山引擎嘅服务开展直播带货业务。