过去两年我有机会参与了针对印度、印尼、中国大陆智能手机用户的访谈,作为 UXR「用研」的参与者,我对 UXR 和 UXR 这个团队充满了好奇。正好最近有个契机,我梳理了一下 UXR 在行业内的脉络,发现 UXR「用研」能深挖的方面很多,UXR 在公司内部可以是数百人的团队,可以有数十个单独开发的工具在支撑「用研」这件事。可以说 G 产品的成功,无论 2B 还是 2C,是平台还是应用,这和强大的 UXR 能力是密不可分的。这周花了些时间,整理了有关 UXR 最关键的几个问题,对「用研」感兴趣的读者,也可算是 101 的入门笔记。
为什么会有 UXR 存在?
先讲一个小故事。一国内大型互联网公司,一年内做了数千个A/ B测试,年底统计下来只有大约1/3的实验取得了正面提升,也就是说,产品有 2/3 的想法(假设)是不靠谱的,这说明了一个很有意思的现象:“产品经理的很多想法,其实不符合预期”。这也是为什么通过 「用研」,通过科学方法和数据来进行产品决策的原因,「用研」成了机会成本的粉碎机。
另外以下几个产品团队常见的问题,往往可通过「用研」解决。
- 对产品的决策有多方面不同的意见 – 有来自领导层的,来自销售体系或市场体系的时候。
- 对终端用户/ 客户的决策路径不清楚的时候。
- 对重要用户/ 客户的基本情况(institutional knowledge) 不了解的时候。
UXR 做什么?
俗话讲「真实自有万钧之力」,这个形容「用研」也再恰当不过。用研最重要的就是呈现事实,还原和反映真实。
「用研」往往包括市场分析、竞品分析、创建人物角色、问卷调查、焦点小组、用户访谈、可用性测试等。UXR 的产出物主要是用研报告,它偏向于客观和实际的研究结果。
「用研」可以包含让用户进行自由操作,让用户完成可用性操作,或让用户进设问题的回答。在产品的生命周期中,主要有以下几个关键节点:
- Discover: 发现和勾绘出用户需求和用户使用路径
- Explore: 用好奇心探索新的想法,解决方案(safe, moderate, risky)
- Refine: 提炼用户场景,用户交互,用户反馈
- Finalize: 对用户侧的产品设计,边界情形,适用性做设计
- Ship: 和工程团队协作,发布和迭代产品
如果是一个平台产品,「用研」和内容运营、平台运营、测试可以相互配合,形成一个闭环。
那 UXR 不能做什么?
- 用研能提供的保障,最大可能的保障不犯最愚蠢的错误,和优秀的设计输出往往是两回事。
- 确定产品发布特性的优先级。这往往需要有产品经理结合实际的研发和市场做综合的决策。
用户访谈要注意什么?
- 明确访谈的目的
- 熟悉、理解产品
- 设计访谈提纲 (问题的顺序最好是易难易交替的)
- 设计 Panel:内部的资源可以利用起来,例如:协调老用户、通过市场侧、销售侧邀约用户。外部也有一些专门提供 panel 的机构。用户的测试设计在验证假设的时候,尽量做双盲,达到验证的准确性。
- 用户邀约和访谈:注意倾听,注意问为什么,了解用户深层次的需求。
定性 还是 定量?
在产品的不同阶段、或者公司发展的不同阶段,大家对「用研」的认知和需求往往是不一样的。来自 Nasdaq Design 的 Chris Avore 写了一篇有关「用研」成熟度模型的文章 (The organization’s design research maturity model),可以用来参考。
另外,Christian Rohrer 做了一个有关“定性还是定量”「用研」方法的框架可以拿来对照和取舍。
我想,对「用研」来说,最终的归宿还是要收敛,要定量,可衡量才可迭代,才可改进。但定量也有个常见的误区,我可以举个例子来说明。Google 曾经有一个 OKR,就是希望公司的产品能够尽可能的「更有趣」,这对品牌,对用户的忠诚度是非常重要的一个方面,比如 DOODLE 团队会让 Google 的 logo 能够变得更有趣,内容运营团队要设计多个无厘头的搜索问题,从而带来“用户乐趣”(例如,圣诞老人在哪?),这两项工作很难讲谁比谁更有趣,但这并不妨碍两个团队各自在自身的维度上去思考,去精进。总结来说,即使不能精确定量,很多事情还是要去做的,只要每个团队心理有把尺子,大家为共同的目标来努力,其实就很好。
以下我收集了一些关于定性/ 定量分析的常见方法,具体方法可以通过 Google Scholar 上搜索论文展开去看。
定性分析的方法:
- Heuristic Evaluation
- Intercept and Cafe Studies
- In-person usability studies
- Remote Moderated Research
- Speed Chat Interviews
- Love Letters and Breakup Letters
- RITE (Rapid Iterative Testing and Evaluation)
定量分析的方法:
- Choice-Based Models
- Conjoint Analysis
- Crowdsourcing results
- Just enough stats
- MaxDiff
- Surveys
- User Segmentation
- Expert Evaluations (Cognitive walkthrough,Heuristic evaluation, Critical User Journey)
UXR 团队的数据科学家都在做什么?
数据驱动是「用研」的基石,在「用研」团队里,往往会设置数据科学家(Data Scientist)岗位,和传统意义的中台数据科学家做对比,UXR 团队的 Data Scientist 可以着眼于以下几个方面:
- 利用 AI 来做分类和回归(classification & regression)
- 设计和解读 A/ B 测试
- 基于时序的因果分析
- 回答有关数据的任何问题
- 数据的可视化工作
- 定义、设计用户 metics 继而影响公司的商业决策
UXR 的意义在于通过「用研」让每一个用户的声音被听到,UXRer 需要好奇心,在每次「用研」时去开拓边界,验证各种可能,UXRer也像一位侦探 (像 利刃出鞘 里面的 Benoit Blanc),这位侦探需要在纷杂的信息中发现并呈现真实。
最后,还有几个「小贴士」,或许可以用得到。
- 「用研」 + 「行业报告」往往更容易得出宏观微观相结合的结论。
- UXRer 往往需要通过 shadow 的方式来去培养新人。
- 「用研」的地点尽量贴近用户使用的场景,减少用户的紧张和焦虑感。我们可以来参考一下口碑 UED 的「用研室」。
如果你对 UXR/ UXRer 感兴趣,可以在这里看到更多:
- UXR Conf & UXR Conf on YouTube
- Look at Your Data, Look at the distributions of your metrics, not just summary statistics.
- Book: Now You See It: Simple Visualization Techniques for Quantitative Analysis
- ExP Experimentation Platform
- UXR podcast/ newsletter/ blog/ KOL and more…
G+
2019.12.1 于北京
“UXR 「用研」101”的一个响应