摘要：本文译介Google AdWords的帮助中心在IA重设计时所进行的一次卡片分类研究。该研究的特点是，待分类项极多（超过500个），单个用户完成500个分类任务会较困难；但若让单个用户只分所有项的子集，又存在样本代表性不够的问题。为此，用研人员先邀请内部员工进行分类，最后通过可用性测试来让用户对分类进行验证。

注：对于可能引起歧义、或原文语焉不详的用词，我会标注出原文以供参考。有意索取原文，欢迎豆邮我！此文枯燥但很实用，有很多细节值得学习哟！

原文：Scaling the card sort method to over 500 items: restructuring the Google AdWords help center. Nakhimovsky, Y., Schusteritsch, R., and Rodden, K. 2006. In CHI '06 Extended Abstracts on Human Factors in Computing Systems (Montréal, Québec, Canada, April 22 - 27, 2006). CHI '06. ACM, New York, NY, 183-188.

研究目的——
为AdWords帮助中心重设计IA。

研究方法——
首先对现有的用户使用行为进行定性、定量调研；然后进行两轮卡片分类，第一轮由三名可用性专家以及一名帮助中心的客服对所有卡片进行分类；第二轮由若干客服对卡片的各个子集进行分类以去除二义性；最后，找来真实用户进行可用性测试。

研究过程——

阶段I：用户使用行为的定性、定量调研

1. 分析使用日志，找出帮助中心频率最高的搜索字段及无返回结果的搜索字段；
2. 从帮助中心的客服电话记录中了解最常见的用户提问，以及他们提问时所用的词汇；
3. 与客服代表进行非正式访谈，了解在什么情况下他们会/不会将用户引导到帮助中心，以及他们认为在帮助中心之内、之外对用户最有用的资源

这些调研工作有两个目的

1. 扩充待分类卡片集，补充了帮助中心之外的一些资源；
2. 了解卡片集中，哪些现有类目的优先级更高。

阶段II：卡片分类

1. 第一轮卡片分类

• 参与者：3名可用性分析师（2人较熟悉AdWords，1人颇不熟悉），1名AdWords的客服充当专家。
• 过程：四人一同对超过500张卡片进行分类。每张卡上要么是一条帮助中心里的FAQ，要么是帮助中心以外的相关资源（这部分约莫100张卡）。专家在整个过程中会对众人提出的类别命名进行准确度（accuracy）校对，并参与生成各个类目的上级名称。参与者从最明显的分类开始，合作将卡片按照他们认为逻辑上最该归在一起的叠成一叠，将那些模棱两可的，或任何三人未就分类达成一致的卡片全都归入“未分类”叠里。被认为可属于多过一个类别的卡片，会被贴上“重复”的标签，然后写明可属于哪些类别。参与者用了若干期（several sessions）完成分类分类，每期1-2小时。
  
  

2. 第二轮卡片分类

• 参与者：3名AdWords客服。
• 过程：
  （1）研究人员分析第一轮分类结果，从产出的各个分类中，分别抽取4-8张卡片作为样本。样本选取规则是：2-4个与所在分类高度匹配(closely matched)的项目；2-4个匹配度稍差(fit less well)的项目。最后，样本中还会加入从“未分类”叠中抽取的代表性卡片(2representative cards)，从而生成第二轮共178张卡片。
  （2）3名参与者在同一个房间内同时但独立地进行分类。 为减轻完成任务的时间压力，研究者将第一轮得出的分类结果告知第二轮参与者，但向他们说明该分类可以随意修改或完全忽略。同时，卡片按照第一轮的分类（包括大类、子类、子-子类）做成了不同颜色以示区分。为了鼓励参与者在任一层次生成新的分类，或生成完全不同的分类结构，各色的空白卡片会被提供给他们。与第一轮一样，允许存在重复卡片，但同样要做出标注。第二轮测试共一期，耗时3小时。 

3. 卡片分类分析

• 记录结果：
  （1）使用互相链接在一起的EXCEL表（linked spreadsheets)来记录分类。第一个工作簿(spreadsheet)上列有所有待分类的项，每一项有唯一的识别符。项目名称以及号码都被用于后续工作簿的索引。 第二个工作簿中同样列有所有项，但会根据第一轮分出的大类、子类、子子类归在一起。第二轮的分类结果则在第三个工作薄上被记录，每个参与者的结果分别放在三张工作单(worksheet)中。每个工作薄都包含一个标识该项目是否在其他类目中重复的列。
  （2）建立一个列表(list)，列明原有分类名、第一轮与第二轮提出的建议分类名，以便识别最有问题和最无争议的类目。


• 分析结果：
  （1）比较两轮分类的结果，识别冗余及争议大的卡片。总被分在多个分类里的卡片会被标识出来，并注明被分在了哪几个类里。若出现结构上的差异，会根据这些结构引导或误导用户的可能性而衡量哪套方案更合适；
  （2）通过整合最少争议的架构，搭建起整体结构的雏形，并呈现在白板上。并按照争议程度逐一纳入各张卡片和分支（最少争议的先纳入）。
  （3）将所有500多个项目按照新的架构分好类，并对零散项目进行子归类，确保每个子类尽可能小（原则是每个子类不超过10个项）
  （4）按照问题的提问频率调整各个大类以及大类里的子类的顺序，确保FAQ在架构的顶层，非FAQ在底部。
  （5）对架构进行迭代调整，并根据调整过程中呈现的规律性模式，对顺序和分类的命名进行调整顺序
  （6）综合前期调研结果、卡片分类结果以及设计规范，做出定案。

阶段III：测试评估

目标：新的IA是否更便于用户理解，并提高了他们找到相应问题的效率。

测试任务：给用户看一条问题，让用户顺着树状结构找到问题所在

测试设计：

1. 将新旧版本均做了HTML mockups，包括主页以及各个IA层次的子页面。
2. 研究员选出两组用于测试的问题。这些问题有多个来源，包括浏览最多的页面和输入最多的查询字段，以及打到帮助中心的电话以及邮件问题。综合各个来源的问题后，进行去重。对于相似但不尽相同的问题，研究员将它们分到两个组。最后形成两组、每组17个问题，每个问题在各个组内都是两两对应的(counterpart to each other)。
3. 为防止用户只通过扫描问题中的字眼来找（在实际操作上，用户并不知道官方是如何表达该问题的），呈现给用户的问题的文字表述与实际出现在分类里的有所差别。例如，“如何删除或恢复删除一条广告”在呈现给用户时会改为“我想要删除一条广告时该怎么做？”
4. 实验开始，用户从一个主页开始。该主页有到各个子任务的链接。在一个子任务页，用户会看到一条问题，然后按“开始”按钮在新窗口打开帮助中心（可能是原版也可能是新版）。用户会被要求浏览帮助中心（禁用搜索功能），必要时顺着树状结构点击，直到他们认为已经找到了对应的问题及答案，就可以关闭帮助中心的窗口，并按下主窗口的“找到”按钮或“放弃” 按钮。接着他们会沿着一个链接回到主页，以进行下一个任务。每次按按钮的行为都会被记录，并附上时间戳。
5. 该实验是组间测试，所以参与者分别用原版和新版帮助中心完成一半的任务。实验同时通过版本和问题组（2版本X2组问题）进行平衡（图1）。实验分两期进行，两期之间分隔至少两天，从而降低第一期实验的学习效应。 

参与者及过程：12名AdWords用户，对帮助中心的熟悉程度各异。其中10人通过屏幕共享软件远程参与。参与者被要求安静地完成任务，但为远程参与者配备了电话线，以备他们遇到技术上的阻碍。每期测试长1小时，不过多数参与者不用一小时就完成了任务。 在每期测试结束时，用户填写一份问卷。

结果分析： 主要的衡量指标包括——

• 完成时间：从按“开始”到按“找到”或“放弃”按钮所需时间。
• 错误率：参与者按“找到”但实际找错以及按“放弃”实际找到所占所有任务的比例
• 放弃率：用户按“放弃”次数占所有任务的比例 新版表现均更优越。

ANOVA分析显示新版的完成时间显著快于旧版。问卷分析也发现新版满意度更高，但差距不显著。 实验中找到了那些使用新版比旧版耗时更久的项目（34中的9个），从而再次进行调整。

如果读者您不是跳着而是由始至终坚持看到了这里，我对您的认真学习态度表示最高的敬意！翻译力求准确，信达雅不足之处，多多包涵~~~

打印  |  类别：用户研究  |  源地址