网页的测试可以有很多好处，但这里提到5种A/B测试和多变量测试的误区会让你误入歧途，SO，不要犯这样的错误。

单变量、多变量、“颠覆性设计”测试

单变量测试就是只测试一个变量的多个值，就是我们平常说的A/B test。注意啦，a/b测试不只是有a/b两个版本， a/b/c/d/e/f/g一样是a/b test!!。

多变量测试呢，就是说会存在多个变量，比如变量是logo的大小，颜色，布局，logo大 小有3个值，颜色有3个值，布局也有2个值，需要测试的版本就有3*3*2=18 ！这就是所谓的全因子实验设计。不过一般制造业不会这样子，成本太高了，于是就有了正交实验设计。这样可以在短时间找到显著较优的方案，但并不适用于互联网！

颠覆性设计就是的全新的（Radical redesigns），多用于新产品，totally different，测试look-and-feel。

网页的测试可以有很多好处，那什么时候用A/B，什么时候用多变量呢？

A/B test的适用条件

1. 新手！
2. 只有一个变量要测试（废话）
3. “全新设计”（一点一点来实在太慢了！）
4. 流量太低，多变量测试导致统计上不显著

多变量测试的适用条件

1. 流量足够、有多个变量
2. 追赶业内老大
3. 无法测试“全新设计”

但这里提到5种A/B测试和多变量测试的误区会让你误入歧途，SO，不要犯这样的错误。

1. 网站分析程序有不是最优的。

在开始测试前，先确定分析程序是OK的，这样不仅可以保证你测试前的分析是正确的，测试过程和测试后也可以正确运行。（补充一下，就是要保证分析之 前，采集数据的方法统一。即使有误差那也都存在误差，互相比较时不会把你带到沟里。）

2. 没有用户细分

平均的综合性的指标会掩盖真正的问题。比如说你在测试出网站平均跳出率为59%，如果你去按用户类型细分，新用户可能是74%，回访用户可能是 38%。所以目标应该是降低新用户的跳出率。

同样这种情况存在于国内用户与国际用户，邮件订阅者……可悲的是，不是所有程序都能对用户细分。

（补充：正确的用户细分与业务结合得非常紧密，一般需要经过建模，通过合理的变量来细分用户。这样才能实现更有效的细分）

3、使用错误的度量

4、测试时间过短。学习一下统计知识，均值检验、卡方统计等等，不要过早宣判一个版本的胜利。

以上内容大多取自http://www.getelastic.com/5-common-ab-multivariate-testing-mistakes/， 围观请移步.

打印  |  类别：用户研究  |  源地址