A/B测试 - UCD大社区

不要落入A/B测试的局部最小值陷阱中

david.wxj — 2010-12-17 15:01:35

原作者：
来源Don\'t Fall Into the Trap of A/B Testing Minutiae
译者david.wxj

在Jason Cohen最近的一篇文章英文版：《Out of the cesspool and into the sewer: A/B testing trap》 | 中文翻译版本：《[译文]小心A/B测试的陷阱：从水沟流入下水道的水》引起业界广泛注意与深刻反省。许多在网上营销的人都知道A/B测试所带来的能量：可以提高点击量、用户注册数量与转化率。可使访客在页面上进行动作可能性的百分比更高。
然而这些举动是充满着危险的，因为这些过程都是通过我们人为的揣测、设计、制作和测试得出来的。最不易引起注意的是许多内在的危险源自于测试内容是我们自己选择的。
“局部最小值”示意图

这个现象非常的确有趣，并且有时值得去测试landing page上的每个独立元素。但这种做法通常下不适合于在产品或landing page的刚开始阶段。正如转化率专家指出的：“我们需要把它们先挂到墙上观察其表现”的方法可得到小改进。但研究访客的问题与解决访客的这些问题是完全两回事。

问题太简单了以至于很多人认为很容易解答。

具有简单问题回答的测试页面

因此，提升转化率所需要做的就是改变按钮的颜色。

你之前所读过的案例或许类似于下面的样子：

将按钮的颜色从红色改为绿色获得72%的提升
使用“承诺复选框”后将转化率提升了11%
如何添加“免费的”提升28%
人头像照片将转化率翻倍
不知名的Twiitter follwing 命令测试

在上面所述的案例中，由于某些简单的改动使得转化率或点计量大大的增长，从而得到广泛的赞赏并且越来越流行。问题是，这是个例而非规律。事实上，这就是这些案例变得有新闻价值并得到如此多关注的原因。这不是说，你就不应该了解这些案例或是不接受这些案例中有价值的部分 (事实上你应该吸取有价值的部分)。但案例中的做法可以让市场人员的心理产生错误想法。

鲜有网站具有通过改变按钮的颜色或更改标题摆弄下文案就可以将转化率大大提升的经验。如果你有充分的理由觉得自己是个外行，那么就下决心去学习吧。只是要注意：通过小变化就可以产生积极的影响不是个事实。因为，你根本付不起之后花费的时间与精力。

使用简单令人信服的数学模型消除干扰

假设你在转化率提升方面做得非常优秀 – 对于你来说A/B测试与多变量测试是非常简单的事，在这方面你有很好的基础。在处理landing与测试版页面方面得心应手。
在这些理想的情况之下也会聚集着成堆的问题：

花费几周的时间去获得小小的增长是非常不值得的。

要知道，每次测试都需要花费大量的时间才能得出令人满意的数据。并且，更多的小规模测试(收益不多的测试)将花费更多的时间，这是要改为使用新的想法做大改动的原因。这也不是唯一要改变的原因。假如你对一个自己满意的页面/创意开始测试里面的元素-优化局部最小值。你也许需要4-6个月的时间，然后整体转化率提高了5%你觉得很满足了。

直到…

你开始实施另一个新想法大改动，发觉在测试中改进得更好。这就是我所推荐的方式：始于新想法大改动，省略那些想当然的测试。让你的用户先使用较好的那个方案，然后对其进行优化。

你应该进行的测试

什么是我所说的“新想法”与“大改动”呢？37signals昨天做的Basecamp页面重设计提供了个很好的例子。

他们记录到新版本比旧版本改善了14%。并且，现在他们可以考虑是否需要重新设计新方案或是优化在新版本中的小元素了。当然，这个小测试所取得的数值并不像有些会得到更大幅度的提高。我认为他们在用正确的方法做事。对于旧版本来说一个小的改动可能提升了相当多。而对于新版本来说，在一开始就有更高的转化率基数，因此许多的小改动都得益于更高的基数。
另一个很好的范例是：关于转化率专家为SEOmoz自己做的案例研究。该测试中PRO landing page的转化率提升了52%。额外的，在今年的4月份，我们创建了一个简短的，更少介绍的类landing page，该测试以小时为单位。我们希望它能够击败老版本页面。经过几周的测试后，这个页面没有获胜。接下来的夏天，我们将测试一些完全不同的版本以期待打败现有的页面版本。
在Stephen Pavlovich的文章里很好的描述了如何提高转化率与测试方法。在他的pdf很简洁的列出这些问题：

遵循这些步骤，不要沉迷于细节中。你将会使用自己的方式得到期望的效果。

英文原版地址：《Don’t Fall Into the Trap of A/B Testing Minutiae》
中文翻译版：《[译文]不要落入A/B测试的局部最小值陷阱中》

相关话题：A/B测试源地址：http://article.yeeyan.org/view/46868/158183

A/B测试：实现方法

oldj — 2010-09-27 16:36:37

上文介绍了 A/B 测试的基本概念，接下来我们继续探讨如何实现 A/B 测试。

我们先来看一个图：

（注：感谢Algo提供本图。）

上图展示了 A/B 测试的实现原理。从左到右，四条较粗的竖线代表了 A/B 测试中的四个关键角色：客户端（Client）、服务器（Server）、数据层（Data）、数据仓库（Data Warehouse）。从上到下代表了三种访问形式：无 A/B 测试的普通访问流程（Non AB test）、基于后端的 A/B 测试访问流程（Back-end AB test）、基于前端的 A/B 测试访问流程（Front-end AB test）。

一般情况下，用户在一次浏览中，会从客户端（Client）发起一个请求，这个请求被传到了服务器（Server），服务器的后台程序根据计算，得出要给用户返回什么内容（Data），同时向数据仓库（Data Warehouse）添加一条打点信息，记录本次访问的相关信息。这个过程也就是图上横向的流程。数据仓库收集到足够的数据之后，就可以开始进行分析（Analytics）了，这也即是图中右上角的部分。

A/B 测试需要将多个不同的版本展现给不同的用户，即需要一个“分流”的环节。从上图中我们可以看到，分流可以在客户端做，也可以在服务器端做。传统的 A/B 测试一般是在服务端分流的，即基于后端的 A/B 测试（Back-end AB test），当用户的请求到达服务器时，服务器根据一定的规则，给不同的用户返回不同的版本，同时记录数据的工作也在服务端完成。

基于后端的 A/B 测试技术实现上稍微简单一些，不过缺点是需要技术部工程资源介入，另外收集到的数据通常是比较宏观的PV（Page View）信息，虽然可以进行比较复杂的宏观行为分析，但要想知道用户在某个版本的页面上的具体行为往往就无能为力了。

基于前端的 A/B 测试则可以解决上面的问题。它的特点是，利用前端 JavaScript 方法，在客户端进行分流，同时，可以用 JavaScript 记录下用户的鼠标行为（甚至键盘行为，如果需要的话），直接发送到对应的打点服务器记录。这样的好处是不需要技术部（如果你们和我们一样，前端工程师与后端工程师分属不同部门的话）参与，并且可以比较精确地记录下用户在页面上的每一个行为，甚至包括后端方法难以记录到的无效点击！

下面，我将重点介绍一下我们在基于前端的 A/B 测试上的一些实践。

一、分流

首先遇到的问题是如何分流的问题。对于大部分需求来说，我们希望各个版本的访问人数平均分配。解决办法有很多种，比较简单的一种即是前面提到过的，根据某一个 Cookie ID 来划分用户，前提是你的网站上每一位访客在第一次访问时就要有一个不重复的 Cookie ID，比如“123.180.140.*.1267882109577.3”。然后，可以根据这个 Cookie ID 的最后一位（在本例中是“3”）来划分人群，比如单数的显示 A 版本，偶数的显示 B 版本。

因为 Cookie ID 一般设定后不会轻易改变，基于 Cookie ID 的好处是我们能很好地对访客保持一致性，某个用户如果第一次看到的是 A 版本，那他刷新后看到的还是 A 版本，不会一会儿看到 A 版本一会儿看到 B 版本。但不足之处就是如果用户浏览器不支持 Cookie 的话，分流就不能正常进行了。不过，现代浏览器默认情况下都是支持 Cookie 的，如果真有用户的浏览器不支持 Cookie ，那也应该是极少数特殊情况，对结果的影响非常微小，对于这些特殊情况，我们一般可以安全地忽略掉。

还有一点需要注意的是，A/B 测试的页面必须有较高的 UV （Unique Visitor，独立访客数），因为分流带有一定的随机性，如果页面 UV 太小，分到每一个版本的人数就更少，结果很有可能被一些偶然因素影响。而 UV 较大时，根据大数定理，我们得到的结果会接近于真实数据。就像想知道一个地方的成年人的平均身高，当然是取的样本越大结论越可信。

二、展示

决定向当前访问者显示哪个版本后，怎么用前端的方法加载对应的版本呢？这需要分情况处理。

一般情况下，如果两个版本只有一个较小的区域不一样，我们可以同时将两个区域的 HTML 都加载到当前页面中，先用 CSS 把它们隐藏起来（也可以默认显示一个版本），等 JS 判断出该显示哪个版本后，再控制对应版本的 CSS 显示。

有时候，测试区域比较大，代码比较多，或者需要后台较多的计算资源，如果一开始就把两个版本的 HTML 全加载到当前页面中，就会需要比较大的开销（比如带宽、后台计算量）。这种情况下，我们可以先把测试区留空，之后再用 Ajax 的方式延迟加载。

还有的时候，测试区域非常大，几乎占了整个页面，或者完全就是不同的页面，这时，用 Ajax 方式加载也不适合了，可以将不同的版本做成不同的页面，然后再用 JS 跳转。不过这样的方式并不是很好，因为前端 JS 跳转需要一定的时间，这个过程很有可能被用户感受到，并且留下不好的体验。对这个问题，似乎没有很好的解决办法，至少在前端层面很难完美解决，所以并不是非常推荐这种跳转方式，如果真的需要跳转，最好是在服务器端由后端代码来操作。

三、数据采集

正确展示对应的版本后，就要开始采集需要的数据了。有一个可选的数据，是当前版本有多少 PV （Page Views，访问量），如果需要记录这个数据的话，在正确版本加载完成之时就要发送一个打点信息。不过很多需求中，具体版本的 PV 的精确数值可能不是很重要，而且要收集这个信息需要多一次打点操作，所以一般情况下这个数据是可选的。

必须的数据是测试区域内用户的点击信息。当用户在测试区域点击了鼠标左键（无论这个点击是点击在链接、文字、图片还是空白处），我们就需要发送一条对应的打点信息到打点服务器。一般来说，这个打点信息至少需要包含以下数据：

当前 A/B 测试以及版本标识

点击事件的位置

点击时间戳（客户端时间）

当前点中的URL（如果点在非超链接区域，此项为空）

用户标识（比如 Cookie ID）

用户浏览器信息

为了尽可能精确地还原用户的点击位置，我们的页面对前端有比较高的要求，要求页面在不同的浏览器下有基本一致的表现，至少在IE6、7、8以及 Fiefox 下，页面横向的元素要精确一致，纵向上很难做到完全一致，但也要尽可能保持统一。另外，这样的测试也不太适合自适应宽度的页面，比较适合定宽的页面，为了避免不同分辨率下页面左右空白不同导致鼠标点击位置的不同，点击位置取的应该是相对于测试区域左上角的位置。除此之外，最好再记录一下测试区域相对于页面内容左上角的位置，在后面还原点击分布图以及绘制热区图时会用到这个数据。

这一阶段的流程大致如下图所示：

数据打点该如何发送以及如何存储呢？这要取决于你的打点服务器如何存储信息。

四、数据存储

我们使用了一台专用的服务器收集打点信息，为了能支持尽可多尽可能密集的打点请求，这台服务器的 apache 服务网站目录下只有两个静态文件，分别是 abtest.html 和 abtest.gif ，两者都是非常小的空白文件（空白图片）。访客端进行打点时，只需要以 GET 的方式带上相关的参数请求两个文件中的任意一个即可。比如：

http://abtest.xxx.com/abtest.gif?abid=1-a&clickBlockX=244&clickBlockY=372&clickBlockW=392&clickBlockH=76&clickTime=1263264082137&clickRX=233&clickRY=47&clickURL=&clickBeaconID=123.180.140.*.1267882109577.3&browserType=FireFox

这个请求可以通过 Ajax 的方式发送，也可以通过 JS 在页面上创建 new Image() 对象的方式完成。

对打点服务器来说，这只是一条普通的 HTTP 请求，它会在日志里留下一条普通的日志记录，形如：

123.180.140.* – - [13/Jan/2010:15:21:15 +0800] “GET /abtest.gif?a=123&b=456&c=789 HTTP/1.1″ 304 – “-” “Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.6 (KHTML, like Gecko) Chrome/4.0.266.0 Safari/532.6″

可以看到了，除了 JS 发送给我们的信息外，Apache 还帮我们记录了一些信息，比如访客 IP 、服务器时间、用户浏览器信息。

对于数据记录和存储来说，到这一步就足够了。Apache 静态文件 + 日志的方式足够高效，基本不用担心性能的问题。剩下的，就是另外一个问题，如何从 Apache 日志中读取打点信息并加以分析，这已经和前端无关了，并且是一个比较复杂的问题，将在后续日志中介绍。

相关话题：A/B测试源地址：http://www.aliued.cn/?p=2976

A/B测试：基本概念

oldj — 2010-09-13 17:21:34

网站设计中，我们经常会面临多个设计方案的选择，比如某个按钮是用红色还是用蓝色，是放左边还是放右边。传统的解决方法通常是集体讨论表决，或者由某位专家或领导来拍板，实在决定不了时也有随机选一个上线的。虽然传统解决办法多数情况下也是有效的，但A/B 测试（A/B Testing）可能是解决这类问题的一个更好的方法。

所谓 A/B 测试，简单来说，就是为同一个目标制定两个方案（比如两个页面），让一部分用户使用 A 方案，另一部分用户使用 B 方案，记录下用户的使用情况，看哪个方案更符合设计目标。当然，在实际操作过程之中还有许多需要注意的细节。

A/B 测试并不是互联网测试新发明的方法，事实上，自然界也存在着类似 A/B 测试的事件，比如下图中的达尔文雀。

达尔文雀主要生活在太平洋东部加拉帕戈斯（Galapagos）的一个名为伊莎贝拉（Isabela）的岛上，一部分生活在岛的西部，另一部分生活在岛的东部，由于生活环境的细微不同它们进化出了不同的喙。这被认为是自然选择学说上的一个重要例证。

同样一种鸟，究竟哪一种喙更适合生存呢？自然界给出了她的解决方案，让鸟儿自己变异（多个设计方案），然后优胜劣汰。具体到达尔文雀这个例子上，不同的环境中喙也有不同的解决方案。

上面的例子虽然和网站设计无关，但包含了 A/B 测试最核心的思想，即：

1、多个方案并行测试；

2、每个方案只有一个变量（比如鸟喙）不同；

3、以某种规则优胜劣汰。

需要特别留意的是第 2 点，它暗示了 A/B 测试的应用范围，——必须是单变量。有时我们的多个设计稿可能会有非常大的差异，这样的情况一般不太适合做 A/B 测试，因为它们的变量太多了，变量之间会有较多的干扰，我们很难通过 A/B 测试的方法来找出各个变量对结果的影响程度。比如，土豆烧肉和豆腐鲫鱼汤都挺美味，但我们很难比较土豆和豆腐哪一个对菜的美味影响更大，而土豆烧肉和豆腐烧肉则是不错的比较。另外，虽然 A/B 测试名字中只包含 A、B ，但并不是说它只能用于比较两个方案的好坏，事实上，你完全可以设计多个方案进行测试，“A/B 测试”这个名字只是一个习惯的叫法。

回到网站设计，一般来说，每个设计方案应该大体上是相同的，只是某一个地方有所不同，比如某处排版、文案、图片、颜色等。然后对不同的用户展示不同的方案。

要注意，不同的用户在他的一次浏览过程中，看到的应该一直是同一个方案。比如他一开始看到的是 A 方案，则在此次会话中应该一直向他展示 A 方案，而不能一会儿让他看 A 方案，一会儿让他看 B 方案。同时，还需要注意控制访问各个版本的人数，大多数情况下我们会希望将访问者平均分配到各个不同的版本上。要做到这些很简单，根据 cookie （比如 cookie 会话ID的最后一位数字）决定展示哪个版本就是一个不错的方法。

下面是 A/B 测试示意图：

可以看到，要实现 A/B 测试，我们需要做以下几个工作：

1、开发两个（或多个）不同的版本并部署；

2、收集数据；

3、分析数据，得出结果。

关于 A/B 测试的基本概念就介绍到这里，其余部分我会在后续文章中继续介绍。

相关话题：A/B测试源地址：http://www.aliued.cn/?p=2773

A/B测试试验的答案和简单总结

天真 — 2009-07-14 23:03:58

首先我要感谢参加测试反馈的朋友，感谢辛苦回复，并且替我打造了目前为止最高大楼。:) (如果你还没有参加测试，建议你先看下测试题后再看下面的文字。) 然后我要先道歉，因为：1）、我给文章设置了个很大的标题——因为我要忽悠你们进来…；2）测试之前关于经验的那段文字胡侃其实增加了测试的干扰；3）我只提供了有限的测试信息和背景。4）我在QQ群、twitter上骗你们来了，这个测试并不好玩，可能会打击到你甚至开始怀疑人生。:)

好了，下面是见证奇迹的时刻。请坐好，然后思考。

测试一：哪种价格排序方案收益最好？

测试结果：B方案

这是grasshopper.com针对pricing页面做的测试。
根据测试结果显示，实施方案B后，月收入增加24.2%。原因：在从高到低的价位排列中，更多的人购买$49的付费服务。

从grasshopper.com的现在页面上看，他们依旧是这样的布局，并且更加突出了中间$49的价格方案。

补充说明：很多朋友应该没有仔细看问题：哪种收益最高。没有明确goal就做出的答复，虽然思路不错，但是结果为零。

可能有用的经验：设置产品付费方案的时候，至少要有3种方案，将你最希望用户购买的方案定价（价格、价值）适中。（这个测试结果是有心理学依据的，哪位朋友能给专业说明下？）

测试二：哪种方案的注册成功率高？

测试结果：A

这是Campaign Monitor之前对他们的首页做的测试。测试结果显示A方案以超过24.7%注册量胜出。

感觉不可思议，对不？我们一直在说不给用户在注册、购买流程中太多干扰。但是这个例子。。。

不过，不要轻易怀疑自己的经验和理论。如果你现在去看Campaign Monitor的网站，你会发现他们已经不在用这步弹出了，为什么？因为他们优化了首页下文文字说明，将他们所提供的软件目标对象描述得更加清晰明确。上下文、语境等情景实际上关系着目的的实现和产品的表现形式。

但是这个例子确实说明，如果你增加的操作步骤能让用户感觉到你所提供的产品是真的对他们有用、有价值的，那用户不会反感。

测试三：哪种注册表格更有效吸引注册

这是Audio Editions这个网站的某个页面的测试。如果这一题，你答案选择的是A简洁页面，那是对的，我问的就是注册量大小。数据表明，A方案的注册成功量比B大。但是从后续的监控情况看，B方案的注册用户的价值要比A高。如果从转化价值来看，B更应该是最终选择，毕竟注册量带不来收益。

测试四：哪种页面会让用户更多的使用搜索框？

这道题很简单，直接上Mozilla的support页面上就可以看到B方案是最终选择。关于这个测试的结果，Mozilla博客上有说明。方案B虽然让用户更多点击阅读下面链接和使用搜索，但是同时它的跳出率也是稍微高了一点（0.2%）。（我们应该思考，为什么方案B会让用户更多的使用网站功能。）

总结

如开头所说，这个测试并不干净，所以你的答案正确与否并不重要。重要的是不能过分依赖自己的片面经验去代替用户做判断和设计产品，在一些可能影响到网站转化目标实现的地方，尽量做做测试，Google Website Optimizer是个很好的工具。

最后再分享个测试结果，页面上一个简单的改进都能很大程度的影响到目标的实现。

图中不同之处在于右侧中间的两张图片不同，可是能想到那种睡着的新生儿的图片让这个页面的转化率增长了12.6%吗？！

PS1：上面所说的大部分测试实验在Which Test Won网站上都有更详细说明，可以仔细阅读。

PS2：以上例子都是英文网站的例子。有朋友有中文的A/B测试对转化率的影响实例分享吗？

相关话题：A/B测试源地址：http://blog.gexiaofei.com/part-2-ab-test/

A/B测试:让左边更有爱

党韬 — 2010-04-30 13:28:07

原文链接: http://www.getelastic.com/ab-testing-giving-the-left-more-love/

我在Wider Funnel和WhichTestWon.com的朋友们很惊奇的发现: 通过A/B test,在Babyage.com将”放入购物车”按钮的放到左边这种非常规的做法比放到右边好,提高了16.7%的转化率.

这个发现很让人吃惊,因为貌似99.9%的电商网站都把(加入)购物车按钮放到右边,你原以为用户已经被”教育”的会在那个位置找”购物车”按钮. 但是根据Jakob Nielsen最近那篇发现在水平方向上,注意力分布更靠左边的研究报告,BabyAge的这个测试结果又好像不那么意外.

Nielsen的报告指出”在浏览网站中,用户看页面左半侧花费的时间占69%,看右半侧的时间占30%”.是不是正是因为用户的眼球相对更喜欢关注页面左侧,所以把按钮放到左边会提高转化率?

向FutureNow的Brendan Regan致敬,他在Conversion Voodoo 的博客找到了一个可以下载的”透视图工具(overlay tool)”.这是一种基于Nielsen调研结果的热点图,你可以把这个覆盖到你的网页(landing page)上,看看大部分时间用户的注意力放到哪.你可以下载这个工具的png版本或者jpg版本.

通过这个透视图,看看跟Amazon传统的右侧按钮比起来,BabyAge的商品页上看去如何.

问题是,如果BabyAge测试一下购物车按钮放到”最有效点(sweet spot,这个词汇来源于棒球)”上会怎么样?

或者问的更好些,如果你在你的电商网站上测试这个会怎么样?

PS: ConversionVoodoo提到了一个重点,Nielsen的测试用的是固定宽度的1024*768的页面,可能这样并没有反应出网络上的主流用户,同时测试的焦点是”内容站”,不一定是电子商务的页面.但是这个研究可能仍然会让你有一个新的方向:试着将call to action(call to action是一类按钮的总称)和网站上其他的重要元素放到左边,而不再放到右边,并且试试是否可以提高转化率.

A/B测试终极指南

标点符 — 2010-07-02 11:04:53

A / B测试不是一个时髦名词。现在很多有经验的营销和设计工作者用它来获得访客行为信息，来提高转换率。然而， A / B测试与SEO不同的是，人们都不太知道徒河进行网站分析和可用性分析。他们并不完全明白它是什么或如何更有效的使用它。本文将为你提供有史以来最好的A / B测试教程。

什么是A/B测试?

A / B测试的核心就是：确定两个元素或版本（A和B）哪个版本更好，你需要同时实验两个版本。最后，选择最好的版本使用。

网络上的A / B测试，即你设计的页面有两个版本（A和B），A为现行的设计（称为控制）， B是新的设计。比较这两个版本之间你所关心的数据（转化率，业绩，跳出率等）。最后，您选择效果最好的版本。

测试哪些东西?

你要选择什么去测试取决于你的目标。例如，如果你的目标是增加顾客数量，那么您可能测试下列内容：注册表单数量，字段类型要求，隐私政策等。在这种情况下A / B测试的目标是要弄清楚什么阻止了游客注册。需要填写的表单的数量？用户的隐私？还是该网站做了让游客不信任的事情？所有这些问题都可以通过一个个A/B 测试获得答案。

每一个A / B测试内容都是独一无二的，单通常测试一下这些内容：

行动按钮的措辞，大小，颜色和位置，
标题或产品说明，
表单的数量和字段类型，
网站的布局和风格，
产品定价和促销活动，
着陆和产品页面上的图片，
页面上文字的长度（少Vs多）。

一旦你决定要测试什么，下一步当然是要选择一个合适的测试工具。如果你想要一个基础的免费工具，可以使用Google Website Optimizer。如果你想要功能更加强大的工具，可以使用Visual Website Optimizer 。其他的一些选择都是可以的，建立试验在所有工具中都很相似，所以我们只需讨论一种即可。

你可以通过两种方法建立A / B测试：

在页面测试加载前替换元素
如果你测试的是页面上的单个元素，如注册按钮，然后需要在测试工具中设置按钮。当测试时，在A / B工具将在页面给用户前随机替换按钮。
重定向到另一页面
如果你想通过A / B测试整个页面，比如说，一个绿色的主题和一个红色主题，那么你就需要创建和上传新的页面。例如，如果您的主页是 http://www.example.com/index.html，那么你需要创建另外一个页面 http://www.example.com/index1.html。当测试运行时，您的测试工具将一部分访问者重定向到第二个网址。

一旦您使用了上面的两种变换方法，下一步是建立您的转换目标。通常，你会得到一个JavaScript代码，您可以复制并粘贴到一个需要游客到达的目标网页。例如，如果您有一个电子商务网站，你正在测试的“立即购买“按钮的颜色，然后您的转换目标将是购买成功后的“谢谢您“页面。

在转换事件发生的同时，在A / B测试工具，记录了哪种页面显示给了访问者。经过足够数量的游客，您可以确定哪个页面带来了最多的转化！建立和运行的A / B测试，其实很简单。

该做什么和不该做什么

虽然A / B测试是超级简单的概念，但是请记住，以下这些都只是我自己的经验。

注意事项

不要分开你的测试情况。始终两个版本同时进行测试。如果您第一星期测试第一版本，第二星期测试第二个版本，你就错了。有可能B版本带来的流量更糟糕，但是带来了更好的业绩，因为两个版本之间的流量始终存在不一样。
不要结束得太早。有一个概念叫做“统计信心“ ，无论你的测试结果明显的。如果你只有少数转换或游客，它都无法确定最终的结果。大多数A / B测试工具都有报告统计，但如果你是手动测试，你可以使用在线计算器。
不要让常客惊讶。如果你正在测试网站的一部分。包括新访客和常客，不要使他们觉得震惊。尤其不要因为哪些可能不会最终实施变化。
不要让你的直觉推翻了测试结果。在A / B测试的结果往往是令人惊讶的或直观的。在一个绿色为主题的网站，一个明显的红色按钮有可能成为赢家。即使红色按钮不容易吸引注意。您要测试的目标是一个更好的转换率，而不是美学，所以在得到测试借过钱不要拒绝任何尝试。

需要做的

知道运行测试多久。结束太早，可能会使你花了时间但是没有得到有意义的结果。结束太晚也不好，因为效果不佳的页面可能影响你的转化和业绩。使用一个计算器，来确定测试多久以后来结束它。
将相同的页面呈献给同一个访客。您的工具应该有一个记忆访问者已经看到的页面的功能。这样可以防止向同一用户显示一不同的价格或不同的促销优惠。
让您的A / B测试在整个网站保持一致。如果你正在测试的登录按钮在多个地点出现，然后一个访问者应在所有的地方看到同样的变化。在页面1显示一个样子，在页面2显示两外一个样子，会使试验结果被干扰。
做很多的A / B测试。让我们面对现实吧：你的第一个A / B测试可能会无效。但是不要绝望。一个A / B测试只能有三个结果：没有结果，不好的结果和好的结果。优化转换率的关键是要做大量的A / B测试，把所有的好的结果拼接起来，最终推动业绩。

经典A/B测试案例研究

这里有一些如何进行A/B测试的案例研究。

Writing Decisions: Headline Tests on the Highrise Sign-Up Page 37Signals测试他们的价格页面的标题。最终发现， “30-Day Free Trial on All Accounts “比原来的“Start a Highrise Account. “多产生30 ％以上的订单。

“You Should Follow Me on Twitter Here” (Dustin Curtis) 这是一个用来测试召唤用户在Twitter上关注自己的试验。. Dustin 发现提示文字是“You should follow me on Twitter here” 的效果是“I’m on Twitter.” 173%

Human Photos Double Conversion Rates 从两个不同的A / B测试将在网站上增加转换率的人的照片：一个令人令人惊讶的结论，A/B测试两张图片，将真人照片放在网站上会获得一倍的转化。研究说明，我们潜意识被照片吸引了。

Google Website Optimizer Case Study: Daily Burn, 20%+ Improvement (Tim Ferriss) 一个将用户选择减少的变化使转化提高了20%，最终的版本在细节和文字上更易吸引目光。

Two Magical Words Increased Conversion Rate by 28% “It’s free” 这个单词增加了注册按钮点击次数的28%, 测试结果表明，在行动召唤上一些很小的变化会带来令人惊讶的结果。

Changing the Sign-Up Button from Green to Red 依靠A / B测试， CareLogger把注册按钮从绿色修改为红色增加了34％转换率！

Single page vs. multi-step checkout 如果你有一个在线商店，很常见的就是支付流程。这个A / B测试发现，多个支付流程比单个支付流程完成的销售更好。

“Mad Libs” style form increases conversion 25-40% 打败传统的智慧，此A / B测试发现一段风格形式输入字段比传统形式的布局更好。

Complete redesign of product page increased sales by 20% 一个软件产品的公司重新设计他们的产品页给它一个现代的外观和增加信任模块。最终结果：他们成功地增加20 ％的总销售额。本案例研究证明了设计对销售的影响。

Marketing Experiments response capture case study – triple digit increase in conversions 通过优化邮件地址获取提高了258 ％。重点是消除所有的干扰，并要求游客只需提供电子邮件地址。使用亚马逊礼品卡让他/她的完成个人资料。

A/B测试工具

有许多侧重点，价位和功能不同的A / B测试工具，这里是一些：

Google Website Optimizer
搜索巨头提供的免费A/B测试工具。一个很好的入门级工具，但是没有一些先进的功能。
A/Bingo and Vanity
基于Ruby on Rails开发的服务器组件。需要编程和代码集成。
Visual Website Optimizer
一个易于使用的A / B测试工具，包含一些先进的功能，如所见即所得的编辑器，单击地图，访问者分割和标签等。
Unbounce and Performable
集成着陆页设计的A / B测试工具。
Vertster, SiteSpect, Webtrends Optimize and Omniture’s Test&Target
企业级测试工具。

一些深入研究的A/B测试资料

如果你已经读到这里，那么A / B测试大概已经激起你的兴趣。在这里，有一些非常好的A/B测试资源。

寻找你下一个A/B测试的灵感

Which Test Won?
一个猜测那种情况会最终胜利的游戏。
101 A/B Testing Tips
大量的A/B测试技巧和方法。
ABtests.com
一个可以分享和阅读A/B测试结果的地方。
A/B Ideafox
搜索引擎的A / B和多变量的案例研究。

一些介绍性文章

Effective A/B Testing
By Ben Tilly.
Practical Guide to Controlled Experiments on the Web (PDF)
From Microsoft Research.
Introduction to A/B Testing
From the 20bits blog

A/B测试中的数学

Statistics for A/B Testing
From the 20bits blog.
How Not to Do A/B Testing
What You Should Know About the Mathematics of A/B Testing
From my own blog.
Easy Statistics for AdWords A/B Testing, and Hamsters
Statistical Significance and Other A/B Test Pitfalls

原文地址：http://www.smashingmagazine.com/2010/06/24/the-ultimate-guide-to-a-b-testing/

相关话题：A/B测试源地址：http://www.biaodianfu.com/a-b-testing.html