问卷法作为定量分析手段之一,在我们的用户研究中常用来调查用户对我们产品的体验或征询意见,从而为改善产品提供量的支持。
问卷法既可用于基础用户研究,也可用于产品用户研究;既可用于横向研究,也可用于纵向研究。需要根据不同的研究目的,来确定不同的问卷质量审核手段。为了使问卷法获得的数据能够客观的反映现实问题,我们总结了以下几点保证质量的控制点。
说明:
基础用户研究:将用户按照性别、年龄、职业、收入、教育、地区等来进行分类,从中可以得到在某个具体行业中,人群的基本特征和观点。但这种分类方法并不能帮助发现能支持产品改进的数据。
产品用户研究:通常是从用户的行为差异开始分析,差异行为背后往往是驱动因素(动机)在起作用,而动机又取决于目标,所以最后通常会落到用户目标上。先按“目标”来划分用户群,然后去了解具有相同目标的用户人口统计学资料,这和基础用户研究刚好相反,也正因为如此,两者是相互补充,互通有无的。
引用自《产品用户研究和基础用户研究》Angela 发表于User Research
一、确定研究目的
确定研究目的在任何研究中都是最重要的环节,在编制问卷之前,我们必须明确该问卷要达到的目标(即需求方希望调查的内容,简称需求点),调查的目标人群和渠道。
1. 目标:
* 控制需求点:因为问卷的题项过多会影响到用户答题的质量,根据前人研究的结果与实际经验,我们认为问卷中设置的态度题不应该超过20 个,总题项最好不要超过30 个。
* 搜集资料方法:可以采用桌面研究(客服反馈、日志分析、销售、市场)、头脑风暴、电话访谈等方法来明确问卷的核心目标,并为编制问卷积累资料。
2. 对象:
在编制问卷之前,我们必须明白我们问卷调查的目标群体,针对实际的研究,需要明确用户群的分类与定义,最好能用客观的指标来区分。例如:
* 新用户、流失用户、连续用户
* 不同资金渠道的用户
* 不同活跃程度的用户
3. 渠道:
问卷投放的时候需要考虑样本的代表性、回收周期和数量。
一般投放周期为一周。可以采用定向投放(例如邮件投放)和非定向投放(例如线上系统)。定向投放回收率不应小于5%(完成问卷的人数/ 参与调查的总人数)。
二、形成问卷初稿
1.内容结构
*测谎题1/2题,用于判断用户是否认真答题。
*反向题
*尽量不用单道题来评定
2.项目形式
*选择题&开放性
*单选&多选
*等距量表
3.编制中要避免的一些问题
*问卷设计者与调查者对概念的理解不一致。
*两个以上概念在同一题目中出现。
*使用专门术语、行语、俗语。
*答案设置漏掉了综合性的选项。
*出现带有某种倾向的暗示性问题。
*使用不肯定的词。
*出现调查对象未经历过的,导致结果虚假。
*使用可作多种解释,意义含糊的词。
*陈述使用否定句,答卷者忽略而误解题意。
*问题缺乏受限制的前提。
*题目中供选择的项目未包含所有的程度。
4.指导语
*建立初步心理融洽,引起回答的意向与动机,需要表明以下几点:
调查者的身份
研究的目的和价值
需要调查对象的协作的重要性
*问卷作答要求
三、内部审核
在问卷正式上线之前,还需要进行审核与测试。
1.专家审核
*针对问卷的内容,使项目与需求点之间的关系达到最佳。
评定内容
*所设置的问题与所研究的主题密切相关
*题目应清楚,无歧义
*尽量不要使用带有倾向性的问题
*所提出的问题应为被调查者能够回答的问题
*尽量不提带有社会压力的问题
*所提问题应尽量具体
*对某些不易理解的问题应尽量作些简单解释
*询问回答者的切身体验比普遍提法要好
*采用多种方式减轻问题可能给回答者带来的社会压力
计分方法
*4~5名专家独立评定,半数以上人通过的项目才能使用
*对于评定不通过的进行修改
2.内部测试
*针对问卷用语、形式。4~5人,被试参与设计,可以采用的一些问题:
你对整个问卷感觉怎样?
当你说“……”时你心里是怎样想的?
这个问题如果这样问,你会怎样回答?
如果这样问“……”你回答起来会有什么困难吗?
3.外部试测
*正式的预测,200人,被试不参与设计,初步分析问卷的结果,及早发现问题。这里针对不同的问卷,侧重于不同方面。
有结构的问卷
*信度分析
例如:科隆巴哈α低于0.5的项目进行修改。
*效度分析
问卷反映的是要测量的内容,有多种效度。如:结构效度,效标效度等。
无结构的问卷
对于有开放性回答题,进行分析,是否遗漏重要选项。
四、正式投放
针对我们的产品,回收最小有效单位样本不少于300,分析才有意义。