业务实验是近年来商界的热门话题,实验早已被应用在科学和医学领域以外,在商业世界中的谷歌、亚马逊、Uber 等每年进行数千到万次业务实验,以迭代出更受用户喜爱的产品。因此,今天我给各位推荐一本书籍——《实验的力量》(原书名:The Power of Experiment),希望与大家分享如何以实验的方式驱动业务决策。在此书中,哈佛商学院教授 Michael Luca 和 Max Bazerman 概述了业务实验的应用,前景和风险。

为什么实验如此重要

实验思维已经在科学研究领域广泛实践了很长时间,被认为是探索未知问题解决方案的有效手段。业务实验即通过获取真实用户使用产品的反馈,来指导更客观的业务决策。

在《实验的力量》一书中,作者介绍了业务实验对公司也能带来同样的好处。尤其对于面向终端消费者的企业而言,即使是拥有多年经验的管理层,都开始认识到消费者、市场环境等因素都是无法预测的。 而通过对用户进行一系列的产品实验,决策者能够了解到用户反馈和获得更确切的市场洞察,而不再是基于自己的行业经验和团队单方面猜测来进行“不够靠谱”的业务决策。

事实上,很多互联网巨头早就以业务实验的方式推动产品服务的迭代和创新。如果你最近使用过搜索引擎,闲逛过电商网站或者浏览过社交平台,几乎肯定的是你已经参与过互联网巨头们的某项业务实验。书中一组数据让我略感惊讶,谷歌在 2018 年内就面向其使用者进行了 15,000 次业务实验,他们不希望公司高管花大量时间争辩方案,而是直接通过用户找到答案。

既然我们通过实验就能知道答案,争论哪种背景色能带来更高点击率的意义在哪里?—–Hal Varian, 首席经济学家 @Google

让实验成为明智的业务决策机制

本书的第二章节我尤为喜欢,作者通过多个在科技行业的最佳实践案例,结构化地阐述业务实验是如何被应用于推动商业决策的。高科技公司,尤其是数字化平台,处于业务实验思维的最前沿,因为它们能相对容易地找到基数大的用户上进行业务实验。我和大家分享比较深刻印象的案例,通过一个实验,最终带给公司高达数千万美元的回报。

eBay 每年向Google支付约 5,000 万美元以针对搜索结果做广告,但团队成员并不知道设置关键词广告是否能带来有效回报。于是,团队设计了一系列实验来追踪和分析进入网站的流量,团队发现投放广告后基本上会为丢失的每一次广告点击交换免费的自然点击。换句话说,每年 eBay 向谷歌支付的大部分资金都是浪费,因此团队马上停止了该广告。

我梳理了一下这里科技公司进行业务实验的底层方法,从下图中可以看到数据在指导目标制定和计划执行中扮演了关键角色——以数据为切入点开始抓住新的业务增长机会,通过分析数据价值和洞察其价值,改善现有产品问题。

业务决策

来源:Runwise 咨询

作者还从故事中总结了经验教训,为希望利用实验来增强公司决策能力的领导者们提供帮助。经验教训之一是,善用实验来弥补直觉型决策的盲区,这里不再赘述。另一个教训是,通过一系列实验而非单个实验进行业务决策,因为实验数据不全面可能会导致决策失误。最后一个教训,也是我认为企业管理者应该尤其注意的一点,是不要过于迷失在衡量实验成功与否的短期指标上,更需要常常关注公司的长期目标。正如英国经济学家提出的古德哈特定律,当一项测量标准成为目标时,它就不再是一项好的测量标准。

如何落地以实验驱动业务决策的机制

《实验的力量》是一本快速易读的管理书,提供了有关应用业务实验方法和实验风险的详尽阐述,对于高管来说,这是一个开始的好地方。对于希望在公司内部使用业务实验来驱动业务增长的团队负责人,我基于过往创新管理的咨询经验为大家提供三个快速落地的策略:

1.学习实验设计的科学方法

虽然业务实验从本质而言就是根据实验数据来决策迭代行动,但事实上进行业务实验,从制定团队实验计划,设计和执行实验到分析实验数据背后是有一套科学实验方法在支撑。当你的团队还未掌握使用科学方法开展实验,只能说是浅尝辄止,你也不应该期望这些业务实验能带来业务价值。大型公司如 Booking.com 甚至为了提升网站页面转化率,基于他们的商业模式自建了 A/B 测试实验的一套实验平台。

业务决策

来源:《CRO优化:A/B 测试让 Booking 成为试验食物链顶级掠食者》

2.建立以实验驱动产品迭代的机制

将实验纳入日常业务工作的一部分,通盘考虑以让实验真正驱动产品迭代。我的建议是,业务团队与高管团队明确实验日常化后能带来公司最有前景的价值点,然后根据业务现状提出实验驱动产品迭代的可行方案。对于硬件制造行业,实验驱动迭代似乎过于理想化,毕竟产品发布的前提是通过无数次的安全测试。但事实上,我了解不少公司,比如戴森,从产品设计阶段开始,就会开展无数次开发 – 验证 – 学习循环(Build- Test – Learn)实验,基于用户对产品原型的反馈不断调整,直到产品发布后依然会继续通过定性定量实验来改进产品。

业务决策

来源:Runwise 咨询

3.构建团队的实验文化

我发现许多企业构建起实验获取用户反馈机制却无功而返,主要障碍在于企业没有创建实验的文化。测试有着不确定性,也会付出不菲的代价,让它们有所回报最好的办法就是——构建实验文化,让所有实验信息向所有人透明,实现实验在团队层面的闭环。我的咨询团队 Runwise 曾帮助餐饮零售巨头真功夫构建起实验团队和实验文化,经过 4 个月实验后,实现了明显的增长效果:总会员数比12个月前增长超过100倍。对于如何详细构建团队实验文化,大家可以通过真功夫的这个案例了解更多。

来源:《成功案例 | 真功夫会员12个月100倍增长实现DTC新零售运营能力》

对于未了解过如何开展业务实验的团队,我建议可以先从设计低成本的精益实验开始,以采取一些简单的步骤,使日常中的较小业务决策更加以数据为导向,团队也可以在这个过程中逐渐了解从数据驱动的决策中获得的收益。

你的团队是如何高效应对业务决策难题?欢迎大家在评论区讨论!