A/B 测试完整指南：来自 Google、HubSpot 等的专家提示

无论您是经验丰富的企业家还是刚刚起步，您很有可能已经看过无数关于 A/B 测试的文章和资源。您甚至可能已经对您的电子邮件主题行或社交媒体帖子进行了 A/B 测试。

尽管在营销领域有很多关于 A/B 测试的说法，但很多人仍然理解错误。结果？人们根据不当测试的不准确结果做出重大业务决策。

单击此处立即开始使用 Shopify 在线销售

A/B 测试通常过于简单，尤其是在为店主编写的内容中。您将在下面找到开始使用不同类型的电子商务 A/B 测试所需了解的所有信息，并尽可能通俗易懂地进行解释。A/B 测试可以改变游戏规则，选择正确的产品定位，增加登陆页面的转化率等等。

什么是 A/B 测试？

A/B 测试，有时称为拆分测试，是比较同一网页、电子邮件或其他数字资产的两个版本，以确定哪个版本根据用户行为表现更好的过程。它是一种有用的工具，可用于提高营销活动的绩效并更好地了解是什么改变了目标受众。

此过程使您能够回答重要的业务问题，帮助您从已有的流量中获得更多收入，并为基于数据的营销策略奠定基础。

了解更多：如何为您的企业进行SWOT 分析

A/B 测试的工作原理

在营销环境中使用 A/B 测试时，您向 50% 的访问者展示您资产的版本 A（我们称之为“控制”），以及 50% 的访问者版本 B（我们称之为“变体”）。

产生最高转化率的版本获胜。例如，假设变体（版本 B）产生了最高的转化率。然后，您将宣布它为获胜者并将 100% 的访问者推向该变体。

然后，变体成为新的控件，您必须设计一个新的变体。

值得一提的是，A/B 测试转化率通常是衡量成功的不完美指标。

例如，如果您在一个页面上将一件商品定价为 50 美元，而在另一页上它是完全免费的，那么这不会提供任何真正有价值的见解。与您在业务中使用的任何工具或策略一样，它必须具有战略意义。

这就是为什么您应该一直跟踪转化的价值直至最终销售。

免费阅读清单：初学者的转换优化

参加转化优化速成班，将更多网站访问者转变为客户。在下面访问我们免费的精选高影响力文章列表。

获取免费阅读清单

什么是 A/B/n 测试？

通过 A/B/n 测试，您可以针对控件测试多个变体。因此，您可以向 25% 的访问者显示控件、25% 的第一个变体、25% 的第二个变体和 25% 的第三个变体，而不是向 50% 的访问者显示控件和 50% 的访问者变体。

注意：这与多变量测试不同，多变量测试也涉及多个变体。运行多变量测试时，您不仅要测试多个变体，还要测试多个元素，例如 A/B 测试 UX 或 SEO 拆分测试。目标是找出哪种组合效果最好。

您将需要大量流量来运行多变量测试，因此您现在可以忽略它们。

A/B 测试应该运行多长时间？

至少对一个（最好是两个）完整的业务周期运行 A/B 测试。不要因为达到显着性就停止测试。您还需要满足预定的样本量。最后，不要忘记以整周为增量运行所有测试。

为什么有两个完整的商业周期？对于初学者：

1. 你可以考虑“我需要考虑一下”的买家。
2. 您可以考虑所有不同的流量来源（Facebook、电子邮件通讯、有机搜索等）
3. 您可以解释异常情况。例如，您的周五电子邮件通讯。

两个业务周期通常足以深入了解目标受众的用户行为。

如果您使用过任何类型的 A/B 测试着陆页测试工具，您可能会熟悉绿色的“统计显着性”小图标。

不幸的是，对于许多人来说，这是“测试已经完成，称之为测试”的通用标志。正如您将在下文中了解的更多信息，仅仅因为达到 A/B 测试统计显着性并不意味着您应该停止测试。

你预定的样本量？它并不像看起来那么吓人。打开一个样本量计算器，例如 Evan Miller 的这个计算器，在您的网页中进行参考，以帮助提高您的转化率。

这个计算表明，如果您当前的转化率为 5%，并且您希望能够检测到 15% 的效果，则每个变体需要 13,533 个样本。因此，如果是标准的 A/B 测试，总共需要超过 25,000 名访问者。

如果您想检测较小的效果，请观察会发生什么：

唯一改变的是最小可检测效应 (MDE)。它从 15% 减少到 8%。在这种情况下，每个变体需要 47,127 个样本。因此，如果是标准的 A/B 测试，总共需要将近 100,000 名访问者。

无论您是进行 A/B 测试 UX 还是 SEO 拆分测试，都应该在测试开始之前预先计算样本量。即使达到显着性，您的测试也不能停止，直到达到预定的样本量。如果是，则测试无效。

这就是为什么您不能漫无目的地遵循最佳实践，例如“在 100 次转化后停止”。

对整周增量进行拆分测试也很重要。您的流量可能会根据星期几和一天中的时间发生变化，因此您需要确保包括一周中的每一天。

为什么要进行 A/B 测试？

假设您在 Facebook 广告上花费 100 美元，将 10 人发送到您的网站。您的平均订单价值为 25 美元。这些游客中有八人什么都没买就离开了，另外两人每人花费了 25 美元。结果？你损失了 50 美元。

现在假设您在 Facebook 广告上花费 100 美元，将 10 人发送到您的网站。您的平均订单价值仍为 25 美元。不过这一次，只有五位访客什么都没买就离开了，另外五位每人花费了 25 美元。结果？你赚了 25 美元。

当然，这是更简单的 A/B 测试示例之一。但是通过提高在线商店的转化率，您可以使相同的流量变得更有价值。

A/B 测试图像和副本还可以帮助您发现见解，无论您的测试是成功还是失败。这个价值是非常可转让的。例如，来自 产品描述A/B 测试的文案见解可以帮助告知您的价值主张、产品视频或其他产品描述。

您也不能忽视专注于不断提高在线商店有效性的内在价值。

你应该进行 A/B 测试吗？

不必要。如果您运行的是低流量站点或 Web 或移动应用程序，A/B 测试可能不是最适合您的优化方法。例如，您可能会通过进行用户测试或与客户交谈获得更高的投资回报 (ROI)。

尽管普遍认为，转化率优化并不以测试开始和结束。

考虑上面样本量计算器中的数字。如果您的基线转化率为 5%，则每个变体 47,127 名访问者检测到 8% 的效果 。假设您要测试 产品页面。它会在两到四个星期内接待近 100,000 名访客吗？

为什么要两到四个星期？请记住，我们希望对至少两个完整的业务周期进行测试。通常，这需要两到四个星期。现在您可能在想，“没问题，我将运行测试超过两到四个星期，以达到所需的样本量。” 那也行不通。

测试运行的时间越长，它就越容易受到外部有效性威胁和样本污染的影响。例如，访问者可能会删除他们的 cookie，并最终以新访问者的身份重新进入 A/B 测试。或者有人可以从他们的手机切换到台式机并查看替代变体。

从本质上讲，让测试运行时间过长与运行时间不够长一样糟糕。

对于能够在两到四个星期内满足所需样本量的商店，测试是值得投资的。不能做到这一点的商店应该考虑其他形式的优化，直到他们的流量增加。

Pinterest 的产品经理 Julia Starostenko 对此表示赞同，并解释道：

朱莉娅·斯塔罗斯坚科，Pinterest

“实验很有趣！但重要的是要确保结果准确。

“问问你自己：你的听众够多吗？你收集了足够的数据吗？为了达到真正的统计显着性（在合理的时间范围内），受众规模需要足够大。”

你应该对什么进行 A/B 测试？

我不能告诉你应该对什么进行 A/B 测试。我知道我知道。如果我现在可以给你一份包含 99 项测试的清单，那肯定会让你的生活更轻松。不乏营销人员愿意这样做以换取点击。

事实上，唯一值得运行的测试是基于您自己的数据的测试。我无权访问您的数据、您的客户等，也没有人管理那些庞大的 A/B 测试想法列表。我们都无法有意义地告诉您要测试什么。

唯一值得运行的测试是基于您自己的数据的测试。

相反，我鼓励您通过定性和定量分析自己回答这个问题。一些流行的 A/B 测试示例是：

• 技术分析。您的商店是否在每个浏览器上都能正确快速地加载？在每个设备上？你可能有一部闪亮的新 iPhone 14，但某个地方的某个人仍在摇晃 2005 年的摩托罗拉 Razr。如果你的网站不能正常快速地运行，它肯定不会像它应该的那样转换。
• 现场调查。这些会在您商店的访客四处浏览时弹出。例如，现场调查可能会询问已经在同一页面上停留了一段时间的访问者，是否有什么阻碍他们今天进行购买。如果是这样，它是什么？您可以使用这些定性数据来提高您的复制率和转化率。
• 客户访谈。没有什么能代替打电话和与客户交谈。为什么他们选择您的商店而不是竞争商店？当他们到达您的网站时，他们试图解决什么问题？您可以提出一百万个问题来深入了解您的客户是谁以及 他们为什么真正向您购买。
• 客户调查。客户调查是对已经购买过商品的人（而不是访客）进行的全面调查。在设计调查时，您需要关注：定义您的客户、定义他们的问题、定义他们在购买前的犹豫，以及识别他们用来描述您的商店的词和短语。
• 分析分析。您的分析工具是否正确跟踪和报告您的数据？这听起来可能很愚蠢，但您会惊讶于有多少分析工具配置不正确。分析分析就是要弄清楚访问者的行为方式。例如，您可能会关注渠道。您最大的 转化漏斗漏洞在哪里？换句话说，大多数人是从哪里退出您的渠道的？这是开始测试的好地方。
• 用户测试。在这里，您可以在付费的受控实验中观看真人尝试在您的网站上执行任务。例如，您可能会要求他们找到一款价格在 40 到 60 美元之间的视频游戏并将其添加到他们的购物车中。当他们执行这些任务时，他们会大声讲述自己的想法和行动。
• 会话重播。会话回放类似于用户测试，但现在您要与真实的人打交道，他们有真正的金钱和真正的购买意愿。当您的实际访问者浏览您的网站时，您会看到。他们找不到什么？他们在哪里感到沮丧？他们哪里看起来很困惑？

还有其他类型的研究，但首先要为您选择最佳的 A/B 测试方法。如果你浏览其中的一些，你将拥有大量值得测试的基于数据的想法。我保证你的清单会给你带来比任何“99 件现在要测试的东西”文章所能带来的更多价值。

优先考虑 A/B 测试想法

大量的 A/B 测试想法令人兴奋，但对于决定要测试的内容并不是很有帮助。你从哪里开始？这就是优先级的用武之地。

您可以使用一些常见的优先级排序框架：

• 冰。ICE 代表 影响、信心和轻松。这些因素中的每一个都会获得 1-10 的排名。例如，如果您可以在没有开发人员或设计人员帮助的情况下轻松地自行运行测试，您可以给轻松程度打 8 分。你在这里使用你的判断，如果你有多个人运行测试，排名可能会变得过于主观。它有助于制定一套指导方针，让每个人都保持客观。

• 馅饼。PIE 代表 潜力、重要性和易用性。同样，每个因素都会获得 1-10 的排名。例如，如果测试将达到您的流量的 90%，您可能会给重要性打 8 分。PIE 和 ICE 一样主观，因此指南也可以帮助这个框架。
• PXL。PXL 是 CXL 的优先级框架。它有点不同，更可定制，迫使做出更客观的决定。您会发现是/否问题和一个易于实施的问题，而不是三个因素。例如，框架可能会问：“测试是为了增加动力而设计的吗？” 如果是，则为 1。如果否，则为 0。您可以了解有关此框架的更多信息并下载电子表格。 

现在你知道从哪里开始了，但它也有助于对你的想法进行分类。例如，在我最近做的一些转换研究中，我使用了三个类别：实施、调查和测试。

• 实施。去做就对了。它坏了或很明显。
• 调查。需要额外的思考来定义问题或缩小解决方案的范围。
• 测试。这个想法是合理的，并且有数据支持。测试一下！

在此分类和优先级之间，您已经设置好了。

A/B 测试统计速成班

在运行测试之前，深入研究统计数据很重要。我知道，统计数据通常不是粉丝的最爱，但将其视为您勉强毕业的必修课。

统计数据是 A/B 测试的重要组成部分。幸运的是，A/B 测试工具和拆分测试软件使优化器的工作变得更容易，但对幕后发生的事情有基本的了解对于稍后分析测试结果至关重要。

HubSpot前增长营销经理、 Omniscient Digital 现任联合创始人 Alex Birkett解释说：

Alex Birkett，Omniscient Digital

“统计数据不是转化次数的神奇数字，也不是二进制的‘成功！’ 或“失败?”的事情。这是一个过程，用于在不确定的情况下做出决策，并通过尝试减少给定决策结果的模糊性来降低风险。

“考虑到这一点，我认为最有必要了解基础知识：什么是均值、方差、抽样、标准差、均值回归，以及什么是‘代表性’样本。此外，当您开始进行 A/B 测试时，它有助于设置一些特定的护栏以尽可能减少人为错误。”

什么意思？

平均值是平均数。您的目标是找到一个代表整体的均值。

例如，假设您要查找视频游戏的平均价格。您不会将世界上所有视频游戏的价格相加，然后除以世界上所有视频游戏的数量。相反，您将分离出一个代表世界上所有视频游戏的小样本。

您最终可能会找到几百个视频游戏的平均价格。如果你选择了一个有代表性的样本，那两百个电子游戏的平均价格应该代表了世界上所有的电子游戏。

什么是抽样？

样本量越大，变异性越小，这意味着平均值更可能准确。

因此，如果您将样本从 200 个视频游戏增加到 2,000 个视频游戏，则方差会更小，均值会更精确。

什么是方差？

方差是平均变异性。从本质上讲，变异性越高，平均值在预测单个数据点时的准确性就越低。

那么，每个视频游戏的平均价格与实际价格有多接近？

什么是统计显着性？

假设 A 和 B 之间没有区别，您多久会偶然看到这种效果？

统计显着性水平越低，您的获胜变体根本不是获胜者的可能性就越大。

简而言之，低显着性水平意味着您的“赢家”很可能不是真正的赢家（这被称为误报）。

请注意，大多数 A/B 测试工具和开源 A/B 测试软件都会调用统计显着性，而无需等待预定的样本量或达到预定的时间点。这就是为什么您可能会注意到您的测试在统计显着和统计不显着之间来回切换。

CXL的创始人 Peep Laja 希望更多的人真正了解 A/B 测试的统计显着性及其重要性：

Peep Laja，CXL 

“统计显着性不等于有效性——它不是停止规则。当您达到 95% 或更高的统计显着性时，这意味着在满足其他两个更重要的条件之前几乎没有：

“1。有足够的样本量，您可以使用样本量计算器计算得出。意思是，有足够多的人参与了实验，因此我们可以得出任何结论。

“2。测试已经运行了足够长的时间，因此样本具有代表性（并且不要太长以避免样本污染）。在大多数情况下，您会希望在两周、三周或四个星期内进行测试，具体取决于您获得所需样本的速度。”

什么是均值回归？

您可能会在 A/B 测试开始时注意到极端波动。

均值回归是这样一种现象，即如果某个事物在第一次测量时出现极端情况，那么它在第二次测量时可能会更接近平均值。

如果您调用测试的唯一原因是因为它达到了统计显着性，那么您可能会看到误报。随着时间的推移，您的获胜变体可能会回归到均值。

什么是统计功效？

假设 A 和 B 之间存在差异，您多久会看到这种效果？

权力水平越低，获胜者不被认可的可能性就越大。权力级别越高，获胜者未被认出的可能性就越低。实际上，您只需要知道 80% 的统计功效是大多数 A/B 测试工具和/或任何拆分测试服务的标准。

Online Dialogue创始人 Ton Wesseling希望更多人了解统计功效：

Ton Wesseling，在线对话

“很多人担心误报。我们更担心假阴性。为什么要在发现证明你的积极改变产生影响的机会真的很低的地方进行实验？”

什么是外部有效性威胁？

有一些外部因素会威胁到测试的有效性。例如：

• 黑色星期五网络星期一 (BFCM) 销售
• 正面或负面的媒体提及
• 一项重要的付费活动启动
• 星期几
• 四季更替

外部有效性威胁影响结果的更常见 A/B 测试示例之一是在季节性事件期间。假设您要在 12 月进行测试。主要的购物假期意味着该月您商店的客流量增加。您可能会在 1 月份发现 12 月份的获胜者表现不佳。

为什么？

由于外部有效性威胁：假期。

您做出测试决定所依据的数据是异常的。当事情在一月份稳定下来时，你可能会惊讶地发现你的赢家输了。

你无法消除外部有效性威胁，但你可以通过运行整周的测试来减轻它们（例如，不要在星期一开始测试并在星期五结束），包括不同类型的流量（例如，不要t 专门测试付费流量，然后将结果推广到每个流量源），并注意潜在威胁。

如何设置 A/B 测试

让我们看一下 A/B 测试小教程。在你测试任何东西之前，你需要有一个可靠的假设。（太好了，我们刚刚完成数学课，现在我们开始学习科学。）例如，“如果我降低运费，转化率就会提高。”

别担心，这并不复杂。基本上，您需要检验一个假设，而不是一个想法。假设是可衡量的，旨在解决特定的转换问题，并侧重于洞察力而不是胜利。

您需要对假设而非想法进行 A/B 测试。

每当我写一个假设时，我都会使用从Craig Sullivan 的假设工具包中借用的公式：

• 因为你看到[插入研究数据/反馈]
• 您期望 [您正在测试的更改] 会导致 [您预期的影响] 并且
• 您将使用 [data metric] 来衡量这一点

容易，对吧？你所要做的就是填空，然后你的测试想法就变成了一个假设。

选择 A/B 测试工具

现在您可以开始选择 A/B 测试工具或拆分测试服务。通常，您会首先想到Google Optimize、Optimizely和VWO。

所有这些都是好的、安全的选择。

• 谷歌优化。免费，除了一些多变量限制外，如果您刚刚开始，这不会对您产生真正的影响。它在执行 Google Analytics A/B 测试时效果很好，这是一个优点。
• 优化地。即使没有技术技能，也可以轻松启动和运行小型测试。Stats Engine可以更轻松地分析测试结果。通常，Optimizely 是三者中最昂贵的选择。
• 威沃。VWO 有SmartStats使分析更容易。此外，它还为初学者提供了一个很棒的所见即所得编辑器。每个 VWO 计划都带有热图、现场调查、表格分析等。

我们在Shopify 应用商店中也有一些 A/B 测试工具 ，您可能会觉得它们有用。

选择 A/B 测试工具或拆分测试软件后，请填写注册表并按照提供的说明进行操作。该过程因工具而异。不过，通常情况下，系统会要求您在您的网站上安装一个片段并设定目标。

如何分析A/B测试结果

还记得我说过写一个假设将焦点从胜利转移到洞察力吗？前谷歌产品经理 Analytics Advocate Krista Seiden解释了这意味着什么：

克里斯塔·塞登，谷歌

“A/B 测试最容易被忽视的方面是向你的失败者学习。事实上，在我运行的优化程序中，我养成了发布‘失败报告’的习惯，我在其中指出了一些最大的失败者季度以及我们从他们身上学到的东西。

“我一直以来最喜欢的一个广告来自筹备数月的广告系列。我们能够在即将上线之前偷偷进行着陆页测试，这是我们所做的一件好事，因为它惨遭失败。如果我们真的按原样启动页面，我们将对底线造成重大打击。我们不仅最终为企业节省了大量资金，而且我们能够深入研究并做出一些假设（我们后来进行了测试）关于为什么新页面表现如此糟糕，这使我们成为更好的营销人员并取得了更大的成功在未来的竞选活动中。”

如果你正确地制定了你的假设，即使是失败者也是赢家，因为你将获得可用于未来测试和业务其他领域的见解。因此，当您分析测试结果时，您需要关注洞察力，而不是测试是赢了还是输了。总有东西要学，总有东西要分析。不要解雇失败者！

如果你正确地制定了你的假设，即使是失败者也是赢家。

这里最需要注意的是需要进行分割。一项测试可能总体上是失败者，但它有可能至少在一个部分表现良好。细分是什么意思？

• 新访客
• 回头客
• iOS访客
• 安卓访客
• Chrome 访问者
• 野生动物园游客
• 桌面访客
• 平板访客
• 有机搜索访问者
• 付费访客
• 社交媒体访问者
• 登录买家

你明白了吧？

当您在测试工具中查看结果时，您正在查看整盒糖果。你需要做的是分开糖果，这样你就可以发现更深入的、细分的洞察力。

很可能该假设在某些细分市场中被证明是正确的。这也告诉你一些事情。

分析不仅仅是关于测试是赢家还是输家。细分您的数据以找到隐藏在表面之下的洞察力。

A/B 测试工具不会为您进行分析，因此这是一项需要随着时间的推移而培养的重要技能。

免费电子书：初学者电子商务分析

找出哪些指标是建立和发展在线业务的关键。本免费指南是学习电子商务分析的完美第一步。

立即获取免费电子书

如何存档过去的 A/B 测试

假设您明天进行第一次测试。两年后的明天，你还记得那次考试的细节吗？不见得。

这就是归档 A/B 测试结果很重要的原因。如果没有维护良好的档案，您获得的所有这些见解都将丢失。另外，我没骗你，如果你不存档，很容易对同一件事进行两次测试。

但是，没有“正确”的方法来做到这一点。您可以使用Effective Experiments之类的工具，也可以使用 Excel。这真的取决于你，尤其是当你刚刚开始的时候。只要确保您跟踪：

• 假设
• 控件和变化的屏幕截图
• 不管是赢了还是输了
• 通过分析获得的见解

随着你的成长，你会感谢自己保留了这个档案。它不仅对您有帮助，对新员工和顾问/利益相关者也有帮助。

专业人士的 A/B 测试流程

现在您已经完成了标准的 A/B 测试教程，让我们来看看来自 Google 和 HubSpot 等公司的专业人士的确切流程。

免费阅读清单：初学者的转换优化

参加转化优化速成班，将更多网站访问者转变为客户。在下面访问我们免费的精选高影响力文章列表。

获取免费阅读清单

克里斯塔·塞登

我的 Web 和应用程序 A/B 测试的分步过程从分析开始——在我看来，这是任何好的测试程序的核心。在分析阶段，目标是检查您的分析数据、调查或用户体验数据，或您可能拥有的任何其他客户洞察来源，以了解您的优化机会在哪里。

一旦您从分析阶段获得了良好的想法，您就可以继续假设可能出了什么问题，以及如何可能修复或改进这些优化领域。

接下来，是构建和运行测试的时候了。确保运行它们一段合理的时间（我默认为两周，以确保我考虑到每周的变化或异常），当你有足够的数据时，分析你的结果以确定你的赢家。

在这个阶段花一些时间分析输家也很重要——你能从这些变化中学到什么？

最后，您可能只有在花时间为可靠的优化计划打好基础后才能到达这个阶段，是时候研究个性化了。这不一定需要花哨的工具集，而是可以从您拥有的有关用户的数据中得出。

营销个性化可以像将正确的内容定位到正确的位置一样简单，也可以像基于单个用户操作的定位一样复杂。不过，不要一下子就投入到个性化方面。确保您花足够的时间首先正确掌握基础知识。

Alex Birkett，Omniscient Digital

在高层次上，我尝试遵循这个过程：

• 收集数据并确保分析实施准确无误。
• 分析数据并找到见解。
• 将洞察力转化为假设。
• 根据影响和易用性确定优先级，并最大限度地分配资源（尤其是技术资源）。
• 运行测试（根据我的知识和能力遵循统计最佳实践）。
• 分析结果，根据结果实施与否。
• 根据发现进行迭代，然后重复。

更简单地说：研究、测试、分析、重复。

虽然此过程可能会根据上下文有所不同或发生变化（我是否在测试关键业务产品功能？博客文章 CTA？风险状况以及创新与风险缓解之间的平衡是什么？），但它非常适用于任何规模或公司类型。

关键是这个过程是敏捷的，但它也收集了足够的数据，包括定性客户反馈和定量分析，以便能够提出更好的测试想法并更好地确定它们的优先级，从而为您的在线商店带来流量。

Ton Wesseling，在线对话

当我们想要优化客户旅程时，我们总是回答的第一个问题是：该产品或服务在何处适合我们在在线对话中创建的 ROAR 模型？您是否仍处于风险阶段，我们可以进行大量研究但无法通过 A/B 测试在线实验（每月低于 1,000 次转换）验证我们的发现，或者您是否处于优化阶段？甚至更高？

• 风险阶段：大量研究，这些研究将转化为从商业模式支点到全新设计和价值主张的任何事物。
• 优化阶段：将优化价值主张和商业模式的大型实验。
• 优化阶段：验证用户行为假设的小实验，这将为更大的设计变更积累知识。
• 自动化：您仍然有实验能力（访问者），这意味着不需要您的全部测试潜力来验证您的用户旅程。剩下的应该用来开发，现在成长得更快（不关注长期学习）。这可以通过运行强盗/使用算法来自动化。
• 重新思考：你停止添加大量研究，除非它是新事物的支点。

因此，网络或应用程序 A/B 测试只是 ROAR 及以后的优化阶段的一件大事（直到重新考虑）。

我们运行实验的方法是 FACT & ACT 模型：

我们所做的研究基于我们的 5V 模型：

我们收集所有这些见解，提出一个主要的研究支持假设，这将导致子假设，这些子假设将根据通过桌面或移动 A/B 测试收集的数据确定优先级。假设为真的可能性越高，它的排名就越高。

一旦我们知道我们的假设是对还是错，我们就可以开始结合学习并通过重新设计/重新调整客户旅程的更大部分来采取更大的步骤。然而，在某些时候，所有获胜的实现都会导致局部最大值。然后你需要迈出更大的一步才能达到潜在的全局最大值。

当然，主要的经验教训将传播到整个公司，这会导致基于您经过验证的第一方见解的各种更广泛的优化和创新。

你在向国际观众推销吗？了解如何使用伪本地化简化该过程。

朱莉娅·斯塔罗斯坚科，Pinterest 

实验的目的是验证对现有网页进行更改是否会对业务产生积极影响。

在开始之前，确定是否真的有必要进行实验很重要。考虑以下场景：有一个点击率极低的按钮。降低此按钮的性能几乎是不可能的。因此，没有必要验证提议的按钮更改的有效性（即运行实验）。

同样，如果对按钮的提议更改很小，则可能不值得花时间设置、执行和拆除实验。在这种情况下，应该将更改推广到每个人，并且可以监控按钮的性能。

如果确定运行实验实际上是有益的，那么下一步就是定义应该改进的业务指标（例如，提高按钮的转化率）。然后我们确保适当的数据收集到位。

完成后，观众将随机运行，在两组之间进行拆分测试：一组显示按钮的现有版本，而另一组显示新版本。监控每个受众的转化率，一旦达到统计显着性，便确定实验结果。

Peep Laja，CXL 

A/B 测试是更大的转换优化图的一部分。在我看来，80% 是关于研究的，只有 20% 是关于测试的。转换研究将帮助您确定开始测试的内容。

我的过程通常如下所示（简化摘要）：

• 使用ResearchXL等框架进行转化研究，以确定您网站上的问题。
• 选择一个高优先级的问题（影响大部分用户并且是一个严重的问题），并尽可能多地集思广益解决这个问题。用您的转化研究见解告知您的构思过程。确定要在哪个设备上运行测试（您需要独立于桌面运行移动 A/B 测试）。
• 确定您可以测试多少变体（基于您的流量/交易级别），然后选择您最好的一到两个想法作为解决方案来对照控制进行测试。
• 将确切的处理方法（编写副本、进行设计更改等）线框化。根据更改的范围，您可能还需要包括设计师来设计新元素。
• 让您的前端开发人员在您的测试工具中实施处理。设置必要的集成（Google Analytics）并设定适当的目标。
• 对测试进行 QA（失败的测试是迄今为止最大的 A/B 测试杀手）以确保它适用于每个浏览器/设备组合。
• 启动测试！
• 测试完成后，进行 测试后分析。
• 根据结果​​，要么实施获胜者，迭代治疗，要么去测试其他东西。

免费网络研讨会：

营销101

努力增加销售额？在此免费培训课程中了解如何从第一天到首次销售。

现在注册

为您的业务优化 A/B 测试

你有过程，你就有力量！所以，走出去，获得最好的 A/B 测试软件，然后开始测试您的商店。在您不知不觉中，这些见解将在您的银行中累积更多的钱。 

如果您想继续学习优化，可以考虑参加免费课程，例如 Udacity 的 Google A/B 测试。您可以了解有关 Web 和移动应用程序 A/B 测试的更多信息，以提高您的优化技能。