A/B测试是好，但不适合创新

大数据文摘出品

来源：Medium

编译：睡不着的iris、夏雅薇

这是一篇描述A/B测试的文章，作者从产品的角度出发，详细描述其优点与局限性，并表示不要太过于依赖A/B测试，容易忽略产品的本身应有的闪光点。

首先，作者是喜欢使用A/B测试的。

对于不熟悉的人来说，A/B测试是通过改变产品的某一特性（或者包装，消息推送，价格…），然后测量改进版本与原始版本（“控制版本”）的性能差异（一般通过一些可衡量的KPI实现）。测试过程中，随机选取一定数量的用户（如客户，访客），将其分成对照组或测试组，然后测量这两个组的行为有何差异。由于分配是随机的，所以两个组具有相似的特征（从人口分布来说），并且两组之间的任何可测量差异都应与产品的改动有关。

A/B测试借鉴医学领域的随机对照试验，用以确定新疗法的有效性。显然，医学试验具有很高的标准。所以，A/B测试被称为“产品开发的科研手法”。

数字产品开发过程中的残酷真相是大多数点子都会失败。因此，我们必须验证我们的点子是否能达到预期效果，并识别出那些注定要失败的点子。毫无疑问A/B测试是一个非常有效的方法。

有些人会没有习惯进行验证就直接发布产品，我不主张这样。我觉得应该用A/B测试去尽可能准确地评估一个产品变化带来的影响。

然而，A/B测试本身存在局限性和风险。另外，只依赖A/B测试，你的产品不会出错，但一定不会出彩。

创造性地推倒重来

伟大而创新的东西都伴随着创造性破坏，即推翻某些不再成立的条件，建立新的假设。例如，iPhone作为有史以来最伟大，最成功的产品，它挑战了智能手机需要键盘或触控笔的假设。

创造性破坏不仅要有远见，也需要一定的假设以及 “基本理论”。作为产品团队，你需要设定一个目标 – 找到一种优于当前的方法从根本上解决用户的问题，然后实现该目标。

当然，这个目标并不是单独存在的。应该通过对客户需求的基础研究以及对技术趋势或市场发展的洞察力逐步明确。但是，一个真正伟大而新颖的想法一般都具有争议。如果基本假设是正确的，那么早就该有人把这个产品做出来了。（2012年的时候，Facebook首次公开募股期间，一位商学院教授告诉我，Facebook的财务状况有多糟糕。如今，Facebook拥有了出色的盈利能力，但即使IPO后，其商业模式还被不少人质疑。）

为了实现卓越，团队需要坚定地追求对现状有极大突破的愿景。这个过程中会充满挫折，即便你的想法没有奏效，也不能因此而放弃追求这个愿景。在失败的时候，你只是排除了一个错误选项。

要创造伟大的东西，你必须从本质上创新，给出一个完全不一样的解决方案，而不只是比当下方案好一点点。因为你选择了一条没人走过的路，所以你的第一个方案可能不会太好。要挑战现状，就意味着你要停止与之前的方案作比较，因为之前的方案是基于旧认知所做的优化方案。把这两个比较没意义。

新方法的根本假设取决于你的愿景，你应该设计实验来逐一验证它。但是，只做一个方案然后就进行A/B测试，是不会有什么结果的。

克莱

（编辑：52站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!