定性研究和定量研究 - UCD大社区

定量研究的风险

a@b.com (JJYY) — 2009-07-08 00:38:30

1. 感性vs理性
2. 把A/B测试摆放在正确的位置上（译文）
3. 定量研究的风险（译文）

作者：Jakob Nielsen
译者：UCD翻译小组 , JJYY
原文：http://www.useit.com/alertbox/20040301.html

来自Jakob Nielsen的文章，十分深入的指出了定量研究中存在的各种风险。由于十分专业而且有点长，我把文章的精华在下面摘要出来，大家可以快速阅读，了解便可。如果有兴趣则可继续阅读后面的全文。

用户研究有两种类型：定量研究（注重统计分析）和定性研究（注重了解和洞察力）。

定量研究有着自己的优势，但定性研究能以最少的金钱交付最好的结果。统计分析常常会出错、存在偏见或过度狭隘。数字崇拜者常因专注于统计分析而把可用性研究引入歧途。强调洞察力和定性分析更为重要。

定量研究主要的好处十分明显：它把复杂的情况变成一个单一的便于理解和讨论的数字。如这个例子：残疾用户比普通用户要困难206%，成年人用户比主流用户要困难122%

在接下来列举的这方面，定量研究存在着与生俱来的风险：

1. 随机结果

研究人员常用统计分析来决定哪些数字“具有统计显著性”。根据惯例，小于5%的界限常被认为更可能是随机结果，但这也暗示着如果研究者完全依赖定量分析的话，1/20的“显著结果”也许只是随机的现象。同样，也有可能存在真正有价值的事实被忽略的现象（也许因为样本容量或实验原因而没有表现出统计显著性）。

2. 魔术般变出许多相互关联来

记住：1/20的分析是“显著重要的”，即便根本就没有真正有价值的现象，所以只要测量了足够多的变量，你不可避免会发现其中一些看起来是相互关联的。例如测量7个标尺的研究会在变量之间产生21种可能的联系。因而根据平均值，这里面有1个关联会被统计认为“显著重要”，即便这里面根本就没有真正的联系。

3. 忽略了协变因素

即便一个关联看起来表现出真正重要的现象时，也有可能产生误导——如果真正的关联是并不是在你当前测量的两个变量之中，而是和第三个变量有关。如这个存在误导的例子：研究显示智力随着出生的顺序而递减（换句话就是第二胎孩子比第一胎要笨，第三胎比第二胎笨。。。）

另一个例子如更长的链接文字和用户的访问成功有积极正面的联系，但在这个表象之下隐含的关联是：粗心的设计师往往简单用”更多“、”请点击“ 等文字，而没有去思考用户是不是能够理解。资深设计师可能会使用更容易理解和自然的链接文字，即便可能会长一些。

4. 过于简单的分析

为了获得好的统计结果，研究人员必须严密控制实验的条件。如使用简化的页面和内容去代替真实的、拥有复杂情境的网站。狭隘的研究常忽略掉考虑宏观整体的可用性，这些条件的严密控制可能会使得结果不足以推广到现实世界中的问题。如这个例子：可以非常容易搞一个研究来说明面包屑设计是无用的。

5. 扭曲了的测量尺度

通过在错误的时间帮助用户，或者使用错误的任务，我们可以很容易误导一个可用性研究。实际上只要有针对性的设计实验，我们可以证明任何我们想要的结果（JJYY：插一句。常常在项目中，研究中，甚至生活中，我们会去证明自己想要证明的，发现自己想要发现的，看到自己希望看到的。这是无数错误的开始）。此外还有很多引起扭曲的因素如新奇效果。

6. 出版偏见

编辑总是遵循“人咬狗”的原则去突出新的、有趣的故事，不论科学期刊还是流行杂志都一样。这可能造成十分新奇、与众不同的研究结果得以曝光，即便它存在着严重偏见或者不实。例如网站响应时间是否重要的故事。

总结

从上我们可以看到定量研究有着与生俱来的风险，如果你在没有洞察力的前提下去依赖数字，你将被绊倒在数字所引导的错误道路上。相比起来，定性研究会更加稳固，也不太会因为一些方法上的弱点缺陷而完全失败，即使研究不见得在每个细节都完美，你仍然可以通过定性分析去了解用户和观察他们的行为来获得许多好结果。

专家会比初学者能从定性研究中获得更多更好的结果。但在定量研究中，只有最好的专家才能得到有效的结果，并且只有当他们十分小心的时候。

如果你感兴趣，可以接下去看全文。

全文 -----------------------------------

统计分析常常会出错、存在偏见或过于狭隘。数字崇拜者常因专注于统计分析而把可用性研究引入歧途。强调洞察力和定性研究更为重要。

用户研究有两种类型：定量研究（统计学）和定性研究（洞察力）。定量研究有着奇特有趣的优势，但定性研究能以最少的金钱交付最好的结果。并且定量研究常常太过狭隘并会产生误导。

定量研究的主要好处十分明显：把复杂的情况变成单一、便于理解和讨论的数字。我自己有所体会，例如在对人们使用网站的报告中：残疾用户比普通用户要困难206%，成年人用户比主流用户要困难122%。

当然，上面的数字结果忽略了需要厚厚一叠纸来解释的细节：为什么对于这些人群来说网站难于使用？我们应该要怎么做？

在上面的例子中，数字的确告诉了我们一些事情：

它告诉我们相比成年人用户，残疾用户所处的情况要糟糕得多。知道这个数值能帮助公司更好决定如何分配宝贵的资源。

它还告诉我们这不是一个小问题。如果一部分用户使用网站只比其他人难了5%，绝大部分人会说“无所谓，就这样吧”，但206%对我们许多人来说难以接受。

数字也可以帮助比较不同设计的优劣和进行长期跟踪。如果十年后，成年人使用网站的难度只比年轻用户高50%，那就可以说我们取得了实质改进。

提防数字崇拜

当阅读其他人的研究报告时，我常发现他们的定性研究结果要比定量研究结果更为可靠和有价值。认为统计研究比基于洞察力的观察研究更有价值是一个危险的倾向。实际上，绝大多数统计研究比定性研究的可靠性更低。设计研究和医学不一样，在传统学科中最为接近它的是人种学。

UI和可用性是与情境高度相关的，它的有效性依赖于对人类行为的深刻了解。典型的情况是设计师需要对设计指导规范（Design Guidelines）进行组合和取舍，这就要求去了解这些设计准则后的基本原则及原理。针对一个特定功能的事件常常和实际设计毫不相关。

迷恋数字、抛弃定性的洞察会把可用性研究引入歧途。在接下来列举的这方面，定量研究存在着与生俱来的风险：

风险1：随机结果

研究人员常常用统计分析来决定哪些数字结果具有“统计显著性”。根据惯例，小于5%的界限常被认为更可能是随机结果而不是具有重要意义的发现。

听起来十分合理，但这也暗示着如果研究者完全依赖定量分析的话，1/20的“显著结果”也许只是随机现象。

幸运的是，许多优秀的研究员——特别是那些在用户界面（UI）领域的，并不单纯使用定量研究。他们发布的报告在简单统计数字之上常有着更高的洞察力。

还有一个反面例子：有时因为研究实验的设计原因，一个真正有价值的发现在统计上却并不引人注目。也许是没有包含足够的参与者从而观测到真正重要、但是稀有的发现。仅仅因为没有出现在定量研究结果中而把相关因素给剔除，可能是错误的。

2000 年大选时在弗洛里达州的“蝴蝶投票”是一个很好的例子：一个基于100选民的研究可能没包含拥有统计显著性的人数，去发现这么一个情况：那些打算投戈尔的票的人却投给了Patrick Buchanan。小于1%的投票者会犯出现这种情况。一个定性的研究可能会揭示投票者的一些行为如“好吧，我想投票给戈尔……等等，看起来 Buchanan更加靠谱，我还是不投给戈尔了”。犹豫不决和差不多抉择是观测研究者的宝藏，但是把它们翻译为设计建议需要定性分析去观察并组合可用性原则。

风险2：魔术般变出许多相互关联来

如果测量了足够多的变量，你不可避免会发现其中一些看起来是相互关联的。用软件统计所有测试然后一定会有几个具有“统计显著性”的关联蹦出来（记住：1/20的分析是“显著的”，即便根本就没有真正有价值的现象）

测量7个标尺的研究会在变量之间产生21种可能的联系。因而根据平均值，这里面有1个关联会被统计认为“显著重要”，即便这里面根本就没有真正的联系。

在我2004年的一个网页可用性项目中，我们从53个不同方面收集用户行为的衡量标尺，因而有1,378种可能的关联可以让我丢到漏斗中去。即便在研究中我什么都没有发现，还是有69个关联会表现出“统计显著性”。

很明显我不会弯下腰去专注于捕捉相互关联，我只会报告有合理假设的、基于有真正潜在价值的统计数据。（实际上，统计研究程序假设研究员是拥有一个假设为前提的。如果你只是为了捕捉“统计上的显著重要”，你就是在滥用软件）

风险3：忽略了协变因素

即便一个关联看起来表现出真正重要的现象时，也有可能产生误导——如果真正的关联是并不是在你当前测量的两个变量之中，而是和第三个变量有关。

例如研究显示智力随着出生的顺序而递减。换句话说第一胎的孩子会比第二胎的孩子拥有更高的平均智商，以此类推，第三胎、第四胎孩子的智商会更低。这个研究看起来非常明显的警告父母：“不要生太多的孩子，否则他们会变得越来越蠢”。

其实根本不是这样。

在这个例子中有着隐藏的第三个隐藏变量：聪明的父母往往更倾向于拥有更少的孩子。当你想要衡量第一胎孩子平均智商低的时候，你针对所有的父母进行采样，却不关注他们拥有孩子的数量。但是当你衡量平均值的时候，很明显你只对那些拥有五个或更多孩子的父母进行采样。这样会造成低智商的后生孩子比重更高。当衡量随机取样的孩子智商的时候，你忽略了他们的父母——这个真正起影响的因素。

（2007年的补充：最新研究揭示家庭大小和父母的经济教育因素对首胎智商的影响是非常小的，但是要点仍然是你需要去更正这些协变量，当你做了这点的时候，智商的差异会比那些你可能会相信的偏差平均值要小很多。）

拿网页上的例子来说，你也许会观察到更长的链接文字会和用户的成功访问有正面相关性，这并不意味着你就应该去写更长的链接。在这里网页设计师是隐藏的协变式：粗心的设计师会倾向使用“更多”、“点击这里”之类的短链接文字，或自己创造的词语。相反注重可用性的设计师会试着把选项解释为用户容易理解的语言，去强调文字和内容丰富的设计元素，而不是用一些幻想的元素如“微笑的女人”。

风险4：过度简化的分析

为了获得好的统计结果，你必须严密控制实验的条件——严密到结果不足以推广和解决现实世界中的问题。

这是大学研究中的一个普遍问题，他们测试的目标常常是倾向于大学生而不是主流用户。同时许多学生并不是使用真正的网站进行测试（真正的网站常有着复杂多样的情景和上下文联系），他们往往用数张简化了的、只有简单内容的设计进行测试。

举个例子，可以非常容易搞一个研究来说明面包屑设计是无用的：给用户一个清晰的任务，要他们沿着一条直线到达目的地然后停在那里，这些用户会毫无疑问的忽略所有的面包屑线索。实际上呢？面包屑在许多网站设计中都被推荐使用，不仅仅因为它十分轻量化，它更重要的意义在于对那些通过搜索引擎或者导向link直接进入到网站深处的用户十分有帮助，而不是从头一步步走进来的用户。

狭隘的研究常忽略掉考虑宏观整体的可用性，例如重新访问行为、搜索引擎友好性、多用户决策等。类似这些的因素对设计的成功至关重要，如B2B或企业软件的设计。

风险5：扭曲了的测量尺度

通过在错误的时间帮助用户，或者使用错误的任务，我们可以很容易误导一个可用性研究。实际上只要有针对性的设计实验，我们可以证明任何我们想要的结果。这正是那些旨在表明一个厂家产品比竞争对手产品更好的赞助研究背后的原理。

即使实验者不欺诈，人们也很容易因为实验方法的弱点而受欺骗，如引导用户去注意屏幕上的特定细节。非常重要的事实是：你应该去询问一些设计元素，而不是引发用户的注意，从而改变他们的行为。

一项在线广告研究试图避免这种错误，不过却弄出了另一个错误来代替：这个实验没有公开要求用户对广告发表评论，他们要求用户评价一批页面的整体设计。实验后，研究者开始衡量用户对不同品牌的认知度，结果在页面上有banner的公司得到的更高的分数。

这个研究能够证明banner广告对品牌是有利的吗？即便它没有任何证据表明可以推动销售？不能。记住用户被要求直接对页面设计进行评价，这个动机使用户比平时更加仔细的去观察页面，特别当人们去评价设计的时候，他们会仔细检查页面上所有独立的设计元素，包括广告。

许多网页广告研究都具有误导性，因为大多数研究都来自广告代理机构。最常见的扭曲是新奇效果：每当介绍新广告格式时，它总伴随一项研究显示新类型的广告创造了更多用户点击。当然，因为新玩意总会获得一个临时优势：引起用户的注意可能只是因为它的新用户还没有培养起忽略它的习惯。这项研究在他完成的那个时段来说可能是正确的，但它不会揭示任何长期优势——当新奇的影响消退后。

风险6：出版偏见

编辑总是遵循“人咬狗”的原则去突出新的、有趣的故事，不论科学期刊还是流行杂志都一样。虽然可以理解，但这可能造成带有严重倾向的新奇、不同的研究结果得以曝光。

可用性是一个非常稳定的领域。年复一年，用户的行为几乎是相似的出现。在过去的许多研究中，我一直能发现很多相似结果。不论过去还是现在，发表一篇伪造或偏见的结果会得到更大的关注。

想想关于网页下载时间的问题。所有人都知道更快更好。自1968年以来相应时间的重要性就被写入交互设计理论中，从1995年到现在无数的网页研究都证实了这一点的重要性。电子商务网站的响应时间越快，卖的就越多。你服务器慢的那一天，你就在失去流量。（这最近在我身上发生过：1月14日， Tog被 slashdotted，因为我们共用一个服务器，和平时相比我的网站失去了10 ％的浏览量）（JJYY 注：slashdot.org是非常著名的科技新闻网站，常常会发生一些小网站因为被slashdot收录后流量剧增，而变成龟速甚至导致临时关闭，作者在这里把slashdot用做了动词）

如果20人研究下载时间，19个会认为更快更好。但是，每1/20的统计会给出错误结果，然后这一个研究可能会被广泛的讨论，仅仅因为它很新奇。其他 19个正确的研究反而可能不会引起注意。

对奇异结论的判断

奇异的结果有时有着似乎令人信服的数字支持。您可以使用的我在这里已经提出来的问题作为理智检查：这个研究是不是创造出了一些不存在的相互联系？它是不是有着偏见或者过于狭隘？它仅仅是因为与众不同而被强调吗？还是仅仅是个侥幸？

通常你会发现偏差的结果应该被忽略。人类行为的广义概念在交互式系统中应该是稳定的且容易被理解的。

例外通常正如其名：它仅仅是一个例外。当然，有时一个奇异的发现具有革命性，而不是虚幻。这极其罕见，但它确实发生过。关键在于发现是否会被重复，以及当知道在哪里可以发现的时候其他人是不是也能观察到。

一个例子，1989年我发表了一篇论文，折扣可用性工程，指出小型、快速的用户研究均优于大型研究，并测试约5个用户就足够的。这在当时是和主流思想（大预算测试）对着干的。在我发布后的15年间，其他一些研究人员也得出了类似的结论，为此我们制定了一个数学模型来证实这个基于我经验观察的理论。如今，几乎所有做用户测试的人都知道只需要做5个用户他们就可以得到绝大部分的东西。

另一个例子，有四个不同的研究都支持我的结论“ PDF文件对于在线信息访问是糟糕的”。在最新的研究中我们也发现同样的问题，这个结论被封存了数年。我当时非常犹豫要不要站出来反对在线PDF格式，因为它在其他情况下非常有用（最显著的如下载文件去印刷，这是它设计的目的）。随着越来越多的证据不断浮出来，最终一切变清晰了，结果就是在线PDF格式和用来印刷的PDF格式是非常不同的。

您可能会反驳其中某一项研究，但是4、5个研究建立了一个趋势，这大大增加了该项发现作为一个稀有事件的可信度。

总结

以上列出了许多定量研究可能会带来误导的理由，它也针对于糟糕的研究。做一个好的定量研究、通过测量获得有价值的洞察是可能的，但这样做会比较困难和昂贵。

定量研究必须在每一个细节和被检测的数字上做得非常正确，有太多的陷阱可能让你陷入进去。

如果你在没有洞察力的前提下去依赖数字，事情出错时你将没有任何备选方案。你将被绊倒在数字所引导的错误道路上。

定性研究会更加稳固，也不太会因为一些方法上的弱点缺陷而完全失败，即使您的研究不见得在每个细节都是完美的，您仍然可以通过定性分析去了解用户和观察他们的行为来获得许多好结果。

当然专家会比初学者能从定性研究中获得更好的效果。但在定量研究中，只有最好的专家才能得到有效的结果，并且只有当他们十分小心的时候。

态度与行为，缺一不可

Darren — 2009-07-06 22:41:26

市场研究中经常提到的U&A这概念，即所谓的态度与使用研究。这里包含了市场研究两个最基本的研究对象：消费者的态度以及他们的消费行为，无论定量研究还是定性研究，都跑不出这两个范畴。下面我们重点来说说定性研究中态度与行为的关系。

我们对定性研究最通常的理解就是要了解研究消费者的态度和动机，因此定性研究中，无论深访还是座谈会，我们会经常见到研究人员问觉得XX怎么样？为什么这样？就是所谓的自我报告法，让消费者自己表述出他们的态度和动机，非常的简单直接，但这足够了吗？显然是不足够的。

态度会决定一个人的行为，但由被访者自己表述的态度对他们消费行为的解释能力却是有限的。因为一个人自己陈述的表面态度与他们真实态度之间总会存在着一定的差距。造成这种差距的原因前面的文章也有过不少的论述，简单来说就是，

一是受社会评价的压力会对某些态度有所隐瞒；

二是很多态度其实是内隐的，即使被访者自己的意识也难以察觉和表达出来，特别像快速消费品之类的购物决策过程非常简单的商品，非要消费者说出个子丑寅卯来也真是为难他们了；

三是消费者经常会有意无意间，从已有的行为出发，再去为自己的行为找自认为“合理”的解释（呵呵，这是否也可算是认知失调？）；

因此，单从消费者自述的表面态度去了解消费者的态度和动机，是不足够而且也不可靠的。那我们就需要另外一条钥匙去打开我们对消费者的洞察之门，这把钥匙就是行为，通过对消费行为整个过程中每个细节的把握，从中洞察出行为背后的态度和动机。语言表述会撒谎，但行为却不会，至少撒谎的难度也大得多。很多实证研究都发现，行为对态度的解释作用，显著的高于表面态度对行为的解释作用。

因此，达闻通用在定性研究中，不论是座谈会还是深访，都非常重视了解消费者实际的购买决策过程，并尽量把握里面的每个细节，一个个购买过程的细节，就像一面面反映消费者态度的不说谎的镜子，再与消费者自己的表述结合印证，告诉你到底他们觉得怎么样，他们为什么这样？

在研究方法上，除了在访谈中重视对购买决策过程细节的询问，我们还十分重视对观察法的运用，以及把访谈与观察结合，在真实购物情景中，通过购物情景细节的重演及就各个购物行为的访谈询问，全面的发掘消费者购物决策过程以及他们的态度，动机。

行为洞察是定性研究中非常非常重要的部分，而对行为洞察的重点就是细节，细节，细节，这对研究人员的要求是比较高的，也是经常被忽视的。做到这点不容易，但做不到，定性研究就没意义。

定性还是定量？

杨小涅 — 2009-02-21 09:10:42

一般说来，在做一个调研项目的时侯，定性和定量是会结合在一起的。定性主要是为了发现问题所在，定量则主要是为了验证定性中所发现的问题各自所站的比重，两者相结合不仅能够发现问题所在，而且还能够为之后产品侧的规划做出指导和参考。

不过，在日常的工作当中，你会发现并非所有的项目都会需要用到定性和定量。

比如说本次我们想调研一下现在网民们最喜欢用的邮件是什么邮件，单单就这个调研来说，我想通过定量的调研就足够的。当若我们本次想调研的内容是为什么你会喜欢使用某个邮件的话，那么通过定性的调研方式就可以了。当然这只是举一个例子，真正的调研绝非如此简单和单一化。

当你准备做一个调研的时侯总是会有一个侧重点的，毕竟调研本身是有一定的成本（时间、人力等）的。所以在某些时侯，我们在做调研的时侯可能会侧重于某个问题，比如本次调研我们主要是想了解一下用户为什么会关闭此业务，那么通过定性的调研就可以了。

但很多产品的同事对这块并不是特别的清楚，或者从成本的角度上来考虑，希望在一个回合中便将定性和定量的问题全部搞定。于是就出现了，在侧重于定性的调研中要求成功样本量达到几百个，觉得调研的成功样本越多，便越具有说服力一样。调研的成本样本越多，越具有说服力其实是对的。但是在做定性的调研中是否真的需要成功那么多样本呢？未必。

关于人数方面的问题，我们完全可以参考可用性测试的标准。一般来说，5个用户已经基本上可以说明问题了。因为你会发现，第5个以后的用户所发现的问题前5个用户差不多都已经说过了。而对于定性调研来说，人数5-10足矣。

当然，在这里我所想要说的并非是谁或者谁的不对，而是希望大家在调研过程中注意以下两个问题：

1、沟通、足够的沟通，让每一个参加调研的人都能够非常清晰的了解本次调研的背景、目的等；

2、调研团队需要建立调研的一些规范，惟有如此，才能够让其他一些非调研的同事了解。

相关话题：定性研究和定量研究源地址：http://qbar.qq.com/ceclub/r/?21

倾听用户的声音，也要揣摩他们的心

zhong335 — 2008-08-06 11:36:01

Jeff Lash发表于2008年1月22日

原文链接：http://www.goodproductmanager.com/2008/01/22/understand-qualitative-vs-quantitative-research/

译注：先解释一下后文中不断提到的定量研究（quantitative research）和定性研究（qualitative research），这里两者都是指做产品的市场/用户研究，其中：

定量研究（quantitative research），一般指会产生统计报告（各种数字）的调查，比如对产品感兴趣人的百分比，使用过竞争对手产品人的百分比，对产品的评分什么的。定量研究的手段有用户问卷调查，或是小组座谈会（focus group）等。
定性研究（qualitative research），一般不会产生数字报表，它有可能是产品经理和客户一对一的面谈，用来发现一些用户面对的问题或是潜藏的需求。这样的研究由于耗时大，所以不可能大规模开展。

本文英文原标题即为“理解定量研究与定性研究”，译者担心略显枯燥，于是标题党的改换成现在的样子。

--------------------------------正文开始的分隔线--------------------------------

如果你想做一个坏的产品经理，只做定量研究就可以了。做生意就是和各种各样的数字打交道，要不然，为什么学校一定要给你开一门统计学呢？如果你搞不出什么看上去像是统计报表的东东来支持你的看法，你的看法多半不靠谱。想想看，一个上百万用户的产品，怎么能依靠几十个人的意见来做呢。问题不在于用户有什么看法，而在于总共多少用户有这种看法。

如果你想做一个好的产品经理，你得定量研究和定性研究两手抓（两手都要...)。数字是好东东，但是只看数字会让你遗漏关键的信息。

在产品开发过程中，通过定性研究得到的发现可以（或者说应该）通过定量研究来证明。比如说，你可能通过用户访问或是种族研究（译注：这个比较西方，中国没什么种族的问题）发现了一些潜藏的用户需求。所以，你接着搞了一次较大规模的问卷调查，希望从更多的用户那里了解这个需求是不是真的重要，以及用户愿意花多少钱为解决问题买单。

很多才入行的产品经理几乎没有任何市场研究的经验。一旦有市场研究的需要，他们往往就那么两招：问卷调查和小组座谈会（focus group）。产品经理们甚至可能没有意识到还有其它的方法做市场研究，也不理解这些方法之间的区别。

一语以概之：

定性研究关注于发现需求，理解用户，探索未知（不仅你不知，你的用户也未必意识到了）。
定量研究关注于验证和细化定性研究的发现。

再说详细一点，如果你希望探索那些用户自己都不能明确表达的需求，递给他一张问卷让他打出1到10分对你没什么帮助。当然，这种卷子可以帮助你决定产品功能的优先级。

同样的，当你想出一个新点子，希望看看人们是否愿意为了这个产品买单，你搞个6个人的小组座谈会也没有意义。但是这个座谈会可以帮助你理解潜藏的问题，用户偏好以及一些细节。

产品经理没必要成为定量研究和定性研究的专家，但是有一些经验总是好的。重要是你得理解这些市场研究手段的用途和局限。

有很多不错的定量研究和定性研究的书。下面推荐两本：

Observing the User Experience: A Practitioner’s Guide to User Research（关注用户体验，用户研究实践者指南，Mike Kuniavsky著）。这本极其优秀的书介绍了大量的用户调查手段，特别关注在互联网，软件和高科技产品上。它非常详细的描述了种种技巧指导你学习，同时又不失参考手册一般的简洁。
Qualitative Market Research: A Comprehensive Guide （定性市场研究完全指南，Hy Mariampolski著）. 这本书针对各种定性市场研究方法提供了不错的概述以及实施指南。

好的产品经理应该善用这些资源来理解不同的市场研究和用户研究手段，并且在工作中合理使用。

真实的谎言—用户版

流沙 — 2008-12-15 04:10:29

先来看一个Sony的案例：
Sony 在引入BoomBoX概念时侯，曾召集了一些潜在的购买者，组成焦点小组讨论这个新产品应该是什么颜色的：黑色或黄色？
经过讨论，每个人都认为消费者应该更倾向于黄色。会后Sony对小组成员表示感谢，告诉他们在离开的时候可以免费带走一个BoomBox作为回报。那里有两堆BoomBox：黄色和黑色。结果是每个人拿走的都是黑色！

是用户说了谎？是的。用户说的和做的可能会完全不一样，因为他们很多时候意识不到自己行为的真相，所以需要我们对他们的所说的、所做的两个方面有清楚的认识。

当我们去做用户研究的时候，你会发现方法有很多：用户访谈、情景调查、焦点小组、眼动实验、调查问卷…
每个方法做一遍？不现实！根据情况选择？很现实！
那情况怎么判断呢？成本、时间、资源…？

做用研之前，请大家不要忘记一个重要因素：这次用研我真正想了解到的内容是什么？千万不要被淹死在方法的海洋中。
以目标为导向，你想得到的答案将会决定你应该使用那种研究方法，特定的方法是为发现特定类型的信息而量身定做的。

我们可以将用户研究按样本量的多少，分成定性研究和定量研究。

定性研究：从小规模的样本量中发现新事物的方法。由于样本数量（10~20个用户）较少，定性研究不会证明任何事情，不过它在挖掘用户全新见解方面非常有价值

定量研究：用大量的样本来测试和验证某些事情的方法。通过分析大量样本，可以找出具有统计学意义的趋势，能够比较精确的反映出全部用户的真实情况。

我小结了一下可能不太精确，但是比较好记易懂：
定性研究：少样本，预知未来
定量研究：大样本，确定现在
想知道用户可能需要什么？可以使用定性研究
想知道用户做了什么？就使用定量研究

Steve Mulder 的用户研究和测试技术纵览图，很好的告诉了我们该如何使用定性、定量研究的方法。

用户访谈对用户目标和观点进行定性的观察和发觉
而调查问卷则用于测试和验证这些发现
可用性测试对用户的行为进行定性的观察
网站流量分析则通过大量的数据来确保这些行为模式具有统计意义上的真实性

So：当你掌握了研究方法如何支持各种研究目的、如何互补的时候，就不会被淹死在这些方法的海洋里，你才能真正了解用户是否在说谎! 本文参考Steve Mulder《赢在用户》