文来自我正在写做的新书《决胜体验设计》（暂定名），欢迎大家在写作过程中给我提建议、期望、不足、错误！因为是在word写作，黏贴过来排版比较随意，请大家多担待！
3.3 如何做好调研问卷
3.3.1 调研问卷的应用场景
调研问卷，是除了深度访谈以外，产品经理另一个常用的调研手段。设计一份合理的调研问卷，是需要经过学习和训练的，如果问卷设计的不合理，可能导致错误的调研结论。
调研问卷适用的场景，主要包括了解业务、评估方案、上线反馈。
在了解业务的过程中，一般首先通过访谈对业务有个大致、全面的理解，只有了解业务的基本情况，才可以有针对性的设计问卷，进行定量分析。我们一般很少在调研最开始的环节通过调研问卷来初步了解业务。
在产品方案和需求的评估过程中，针对某些明确的工作诉求，也可以采用调研问卷来协助。例如，KANO模型就是结合了调研问卷的一种产品特性判断的方法论，而焦点小组，是对产品可用性（交互体验）进行评估打分的方法。除了这两个场景，不建议通过调研问卷来评估产品方案，因为很难通过问卷来预测用户的行为，也很难通过问卷来深入挖掘需求并验证方案。
当产品上线以后，通过问卷获取量化反馈，识别热心用户是常见的手段。尤其是NPS（净推荐值）指标，是常用的用户满意度评估指标。
图36 问卷的应用场景
3.3.2 调研问卷的标准结构
一份标准问卷，由标题、背景、排除性问题、事实调研、态度调研、受访者信息这六个部分组成，如图3-7，展示了针对Z公司移动终端使用体验的调研。
标题：简明扼要，吸引人点击后了解填写问卷。
背景：写清楚这个问卷设计的目的，对于填写者可以带来什么价值。在问卷的开头，要尽量写清楚预估的填写时间，给填写者清晰地心理预期，例如，如果是普通的问题采集，题目不多，几分钟足矣，当填写者看到预计只需要几分钟，就会更有信心完成问卷；再例如，一个复杂版本的MBTI问卷（人格测试，年轻人很火的INTP就来自这个问卷评测），需要耗费二十分钟，填写者看到后就会有心里预期，不会被繁多的题目和较长的耗时劝退。
排除性问题：问卷的第一个题目，永远是排除性问题，所谓排除性问题，就是先确认填写问卷的人是否是调研的目标受重，如果不是，则结束问卷。例如，在本书案例中，土豆想调研一线经纪人使用移动终端的感受，就应该在问卷开始先询问对方是否使用过APP，如果没有使用过，可以直接终止问卷。
如果没有排除性问题，问卷数据又可能会被污染。例如，某BI软件，希望了解数据分析师使用BI的相关情况，虽然在下发问卷时只给数据分析部门投放了问卷，但万一流转到其他团队或角色，例如一线业务人员，看到问卷后也可能完成填写，这就会对数据带来污染。
事实调研、态度调研：接下来，就进入到问卷正文。一般我们将问卷中的事实问题放在前边，态度、观点问题放在后边，因为事实性问题更容易回答，也容易让受访者进行回忆，逐步进入情境，因此事实问题常常放在态度问题前边，这和一对一访谈中提问题的技巧一致。大家可以感受下，“你今天早餐吃的什么？”，与“你觉得早餐吃什么比较健康”，这两个问题哪一个回答起来更轻松？
如果一个问卷有多个调研主题，可以将主题合并，统一把不同主题的事实问题放在前边，也可以将主题分开独立，每个主题分别提问事实问题和态度问题。
受访者信息：问卷的最后，我们要尽量采集受访者各个维度的信息，主要目的是在问卷数据分析时，可以从不同的维度穿插分析，获得更加细致、全面的分析和洞察。当然，还可以询问对方是否愿意提供联系方式，以便进一步沟通。
图37 问卷的标准结构
3.3.3 调研问卷的流程设计
如今已经很少有人采用纸质问卷，普遍采用线上问卷。线上问卷有一个很大的优势，可以做成动态交互形式，即根据填写选项的不同，跳转到不同的问题。例如，在图3-7的问卷中，针对第一题“您是否使用过经纪人移动终端”，如果用户选择了“否”，则结束问卷；再例如第四题“您工作日一般每天使用几次移动终端”，如果用户选择了“e.很久没用了”，需要追加一道题目，询问用户没有使用的原因。
如果问卷中逻辑判断比较多，在设计时，可以通过流程图来梳理并呈现问卷的各种跳转逻辑，如图3-8，避免逻辑混乱或遗漏分支。
图38 问卷的流程设计
目前市面上成熟的问卷设计平台都支持问卷的逻辑交互设计，图3-9是某问卷系统中的逻辑编辑器，可以看到，这个编辑器非常巧妙灵活地支持了各种判断互动需求。
图39 某问卷系统中的逻辑编辑器
3.3.4 如何设计事实性问题
在事实性问题设计中，有一些容易犯的错误，我们通过几个实际案例给大家进行展示。
下边是几个事实性问卷问题，请大家先花几分钟自己思考下，这些问题哪里设计不合理，有了自己的答案后，再往下阅读。
题目1、你吃晚饭了么？（）
a. 吃完了 b. 还没吃
题目2、你父母是全职工么？（）
a. 是 b. 否 c. 不知道
题目3、你平时经常在朋友圈分享文章么？（）
a. 经常分享 b. 偶尔分享 c. 从不分享
题目4、你是否使用过我们的原生APP？（）
a. 是 b. 否
题目5、你最近一个月参加过哪些体育运动？
a. ________________________
题目6、你是否使用过我们的原生APP？（）
a. 是 b. 否
以上六个题目，展现了事实性问题设计中的典型错误，我们一个一个来分析。
第一个题目，选项没有穷尽所有可能，答案中缺少“正在吃”这个选项。
第二个题目，问题存在歧义，到底问的是父亲还是母亲？修改方法有两个，第一个方法是修改问题，改为“你父亲是全职工么”或“你母亲是全职工么”；第二个方法是修改答案，穷举所有可能的组合，例如“a.都是全职工 b.都不是全职工 c.其中一人是全职工 d.不知道”。
第三个题目，描述存在模糊性，类似于经常、偶尔这种词语，每个人理解是不一样的。为了保证分析的准确性，要把模糊性词语，尽量替换为客观描述，例如，本题目选项调整为“a. 每周分享3次以上 b.每周分享1-3次 c.偶尔一周分享1次 d.从不分享”。另外，选项的设计，应该均匀分布，例如“a. 每周分享100次以上 b.每周分享30~100次 c.每周分享30次以内”，这个选项设计显然不均匀，属于选项的尺度设计有问题。
第四个题目，使用了专家语言，原生APP这个词汇，普通用户根本不理解是什么意思，可以将题目调整为“你是否使用过我们的安卓版本或者IOS版本APP”（其实这个描述也有一定的理解难度）。
第五个题目，不应该采用开放式问题，问卷要尽量避免让用户思考，造成答题压力。这个题目完全可以采用半开放的形式，给出选项“a.足球 b.篮球 c.其他____”，选项的设计也有一定技巧，选项应该采用常见选择，而不是把不常见选项挂出来，带来不便。例如，以下选项，可能对于大家带来困扰“a.美式橄榄球 b.英式橄榄球 c.冰球 d.其他____”。
总之，对于事实性问题设计，要尽量做到：
1、 文字简洁容易理解。
2、 问题和选项的描述要清晰，不要模糊。
3、 避免专家语言。
4、 在同一个问题中不问2件以上事情。
5、 答案要穷举所有可能。
3.3.5 如何设计态度性问题
态度性问题，比事实性问题的设计更复杂一些。对于事实问题，受访者只需要准确回忆事实，认真回答；对于态度问题，则需要花心思思考，仔细判断，这就需要对问卷的题目设计更谨慎，更科学，从而获取有价值的信息。
同样，我们先来看几个例子，大家首先思考每个题目中存在的问题，心中有了答案以后，再继续往下阅读。
避免诱导性问题
题目1、我们打算新开发一个功能A，可以解决你的XX问题，你是否愿意使用？（）
a. 愿意 b. 不愿意 d. 不关心
这是一个典型的诱导性问题，题目中暗示了A可以解决XX问题，在这种表述下，填写者大概率会选择愿意。诱导性问题很容易把回答者的思考方向限制在某个范围，其特点是题目中包含了未经证实的理由，然后提出问题，从而产生结果的偏差。再例如，“这个系统上线时间久远，你是否觉得这套系统好用？”
不要让用户预测行为
题目2、我们打算新开发一个功能A，你是否愿意使用？（）
a. 愿意 b. 不愿意 d. 不关心
很多产品新人在设计新功能时，特别喜欢采用题目2的问法：“如果我们做了XXX功能，你愿意使用么？”，大多数人填写问卷时都会选择愿意，然而实际上线以后却根本不去使用。产生偏差的原因，是问题中让用户预测了行为。
我们不建议在问卷中让填写者预测自己的行为，因为大家填的内容很可能不是自己内心真实的想法，例如上边的题目，用户心里的真实想法可能是“我先填写愿意，反正又不是我开发，等你们上线后，我看看到底是啥再决定用不用。”
如果想预测用户的行为，最好让用户付出一定的成本（可以是代价或行动）。例如，知名网盘产品DropBox在做MVP版本的经典案例中，在产品投入开发之前，创始人想要验证用户是否真的有刚需，采用的办法很巧妙，不是简单的投放问卷作参考，而是在一些论坛社区发帖子，描述了这款产品的亮点，让感兴趣的用户支付一笔很小的金额进行预订，从而判断用户是否存在刚需。
再分享一个案例，曾经有个公益组织拍摄了一个公益短片，鼓励社区居民参与公共劳动，这个短片在社区的电影院播放，公益组织找到心理学家，希望帮忙设计一个评估方案，检验有多少人看完这个短片后，会在接下来的日子实际参与到社区公共劳动，心理学家给出了三个方案：
第一种方法，是跟踪每一个看过短片的社区居民后续的行为，这显然操作起来成本太大。
第二种方法，是让看完短片的人填写一个问卷，回答自己未来是否愿意投身于社区公共劳动。
第三种方法，是让看完短片的人，如果愿意未来参与到社区劳动，自愿签署一份承诺书，承诺未来3个月内至少参加一次社区公共劳动。
你觉得哪个方法更靠谱呢？
通过量表度量态度
题目3、您觉得经纪人移动终端是否好用？（）
a. 非常好用 b. 好用 c. 无感 e. 非常不好用
这道题目的问题是测量尺度不均匀（问卷尺度包括了定类尺度、定距尺度、定序尺度、定比尺度，本例属于定序尺度），即选项的分布不平均，缺少一个“不好用”的选项。
通过文字描述来体现态度的不同程度作为选项，虽然比较常见，但我们更推荐采用数字化的方式量化选项，让问题的描述更中性，让用户将主观评价尽量客观化，例如，本题可以修改为：
题目3、请您对经纪人移动终端的易用程度进行打分（）
非常不好用 1 2 3 4 5 非常好用
对用户的态度进行测评，更复杂的方式是采用量表，将态度细分拆解，用量化评估的方式完成测评。比较常见有李克特量表（Likert Scale）和语义差别量表（Semantic Differential Scale）。
李克特量表（Likert Scale）
将一个分析主题拆解为若干条陈述性描述，让用户对陈述性描述进行打分。例如，调研用户对经纪人办公终端的使用体验感受，可以通过易用性、易学性、有效性这几个主题展开评估。其中，针对易学性主题，可拆解为3个陈述性问题，通过李克特量表让用户进行打分。如下：
在数据分析中，可以对量表结果进行累计加总，例如非常不认同为-2分，非常认同为2分，计算3个题目的累计得分。也可以对每个题目计算平均分，例如非常不认同到非常认同分别是1、2、3、4、5分，计算平均分。分数的绝对值意义有限，更重要的是看两次测评之间的变化值。
李克特量表的选项设计中，有两点值得注意。
第一点，选项应该是奇数还是偶数？一般来讲，我们建议采用奇数选项，这样可以给用户一个中立不确定选项，避免强迫用户二选一；除非是重大表态事项，否则我们很少采用偶数选项。但是基数选项会带来一个问题，用户一般不喜欢表现的太个性，所以往往会选择中立选项，这叫做趋中效应。
第二点，肯定选项“非常认同”应该放在左边还是右边？一般来讲，我们建议将肯定选项放在距离用户阅读顺序较远出的右边；因为用户对于观点往往倾向于附和而非驳斥，同时用户也喜欢选择离自己比较近的选项（先入为主，首因效应），将肯定选项放在最右边，正好中和了这两个效应带来的统计学偏差。
语义差别量表（Semantic Differential Scale）
语义差别量表将陈述性描述拆解为两个互反的对立态度，让用户给出评估。因为用户面对的是两个对立选项，所以相比李克特量表的陈述性描述，选项对用户的倾向性影响更弱。我们对上边APP易学性评估的李克特量表，转换为语义差别量表后如下。
也可以换一种表达方式，同时将尺度改为七级，如下。
对观点进行编码
有的时候，我们需要给定几个态度选项，供用户选择，而非让用户针对某一个态度打分。例如，我们已经了解到用户对于APP的消息通知有几类不同感受，我们想进一步掌握不同感受用户的占比。
题目5、关于经纪人办公终端的APP消息通知，您的观点是？（）
a. 很有用，能及时提示我跟进重要事项
b. 有点用，但并不是必须，可有可无
c. 没啥用，消息太多太杂，根本看不过来
d. 不知道
将可选项经过研究分析后列示，供用户选择，叫做问卷编码，这样可以降低用户填写问卷的难度，也可以提高问卷分析的效率。不论态度问题，还是事实问题，都可以给出限定性选型并进行编码。如何设计合适的选项？可以提前先做一次开放式问题收集，然后将得到的答案抽象汇总，进行编码。选项设计的过程中，很可能会融入设计人员的一定程度的主观见解，这很难避免；另外，在某些情况下，选项的末尾，可以设置“其他”或“不知道”，确保选项穷尽所有可能。
以上介绍了态度性问题设计的注意事项和技巧，在实践应用中，这些方法和规则并非绝对，但是通过学习，可以给我们较好的系统性思考和启发，避免出现典型错误。
3.3.6 受访者信息收集
问卷的最后板块，是受访者信息收集，要根据调研的目的，尽可能多的收集受访者信息，例如基本的工作年限、性别、年龄等。如果使用公司内部的调研系统，可以获取到问卷填写者的员工ID，也可以通过ID关联，获取更丰富的受访者信息。
收集受访者信息很重要的一个目的，是对问卷数据进行丰富的多维度交叉分析。在数据分析工作中有一个观点，如果对数据不能进行多维度分析，还不如不做数据分析。什么意思呢？例如我们已经获得了足够的样本数据，可以测算出用户对经纪人移动终端的NPS打分，但这还不足够，我们想进一步了解不同区域、不同司龄、不同业绩的经纪人的NPS打分，分析背后是否有更多的现象和价值，这就需要我们在问卷设计中提前植入了区域、司龄、业绩的受访者信息，才能对NPS指标进行不同维度的下钻洞察。
图3-10是我曾经做过的一个关于产品经理下班时间的问卷调研，可以看到大部分打工人下班都在七点到九点之间。这个信息有一定的参考价值，但如果能进一步的从不同维度分析，会更有意思。
图310 关于产品经理下班时间调研的问卷数据呈现
还好当时我采集了不同的受访者信息，包括产品经理所在企业类型、工作年限、岗位级别、产品方向等等。
从不同的维度下钻分析下班时间的指标，发现不同企业的下班时间也有明显差异，如图3-11，这是一个很有意思的现象。
可以看到，正是因为有丰富的维度信息，我们可以对数据从不同角度进行审视、探查，发觉其中有价值的点。如果在问卷设计时没有计划好这些维度信息，等回收数据以后发现少了东西，想再去补齐，就晚了。
提前设计好采集的维度信息，总会有所遗漏，如果是非常重要的调研工作，可以先小范围试点，拿到数据后先尝试做分析，分析的过程之中就会有新的灵感和点子蹦出来，帮助自己完善问卷的设计。
图311 从公司类型维度下钻分析产品经理的下班时间
调研问卷除了采集数据，还可以识别热心用户，与其进行更深刻的交流。在问卷的末尾，除了让用户留下更多建议，还可以询问并获取用户的联系方式。热心用户不一定是典型用户，但也值得我们关注交流。
3.3.7 问卷的数据分析
专业的问卷数据分析，涉及到复杂的统计学知识，尤其是大型社会调查，市场调查，需要做抽样设计、数据验证等工作。对于一名B端产品经理，从实践的角度，掌握基本的统计学常识，在分析市时对问卷结果简单做运算处理就足够了。
我记得当年读MBA的时候，统计学的老师就告诉我们，专业的统计学分析应该由专业人员完成，对于工作中遇到的绝大多数数据分析工作，其实能把数据通过图表的形式做各种角度的观察，就足以发现问题，关键要有数据分析的意识、耐心，以及良好的业务敏感度和一定的技巧。
在这些年的工作实践中，我也发现，大多数时候，企业缺乏的不是科学的数据分析论证体系，而是管理者和一线员数据采集、数据分析的基本意识和习惯。
本书不涉及统计学的知识讲解，例如平均数、中位数、方差、标准差这些概念，大家可以自行查阅学习，实际工作中不一定能用到，但需要有基本概念。
不过，关于置信区间的统计学概念，这里还是需要和大家分享一下。
假如说我们开发了新版本的APP，产品经理对新老版本APP的NPS做了调研，因为样本量很小，采集到的数据如图3-12左边表格。
图312 对问卷结果进行90%置信区间分析
从表格中可以看到，老版本的NPS均值是7.40，新版本的NPS均值是7.50，新版本的NPS更高，请问，这能说明用户对新版本的APP更认可么？
准确回答这个问题，就需要用到一个重要的统计学知识，数据的离散程度以及置信区间。在图中的案例数据，虽然新版本NPS均值更高，但样本数据的离散程度特别大，简单讲就是有高有低，数据波动大；而老版本NPS的数据离散程度低，波动小。或者换一个说法，新版本NPS样本数据的方差大，数据不稳定，虽然均值高，但可信度低。
在统计学上，一般通过置信区间的概念，来呈现样本数据的可靠新。在图3-12的左下角，我们在Excel中通过函数COFIDNECE()，计算了C6:C15和D6:D15 两组数据，在90%的置信度下，可能的误差范围；或者说，老版本的NPS均值7.40，在90%的可能性下误差范围在±0.36之间，新版本的NPS均值是7.50，在90%的可能性下误差范围在±1.39之间。我们将正负波动体现在图表中，得到图3-12右侧的带有误差线的柱状图。
从图中看出，虽然新版本的NPS均值高，但是误差波动范围远大于老版本的NPS均值误差范围，所以对于新版本NPS均值比老版本NPS高的结论要慎重采纳。
如何绘制图3-12右侧柱状图的误差线呢，大家可以参考图3-13，首先计算整理左侧表格数据，将两个均值创建出柱状图以后，点击柱状图，选择添加误差线，误差线采用自定义指定值，指定值设置为C17和D17的两个值即可。
实践中，大家不一定要深刻的理解置信水平、t检验这些概念，但是需要知道数据的离散程度和偏差范围，在计算均值的时候，考虑误差范围，对结论的可靠性有基本认知。
图313 使用Excel给条形图添加误差线
3.3.8 KANO模型的问卷设计
KANO模型是日本教授狩野纪昭发明，对用户需求分类排序的工具。KANO模型在产品经理圈非常出名，基本上每本产品经理的书籍或每套课程都会隆重的介绍KANO模型，然而尴尬的是在实际工作中大家却发现基本没人用过KANO模型，可能的原因包括用起来太复杂，用户填写觉得麻烦，拍脑袋做决策更常见。
简单讲，KANO模型通过对产品功能点在问卷中采用正反两问的方式，可以统计分析出功能点的特征，属于必备需求、期望需求、兴奋需求、无差异需求、反向需求其中之一。
现在成熟的问卷平台都支持KANO模型，并自动统计分析数据给出结论，避免了大量的手工计算工作，图3-14是某问卷系统的KANO模型组件，设计了两个功能点的提问，每个功能点都通过正反两问获取用户的反馈。
图314 针对消息通知的两个功能点设置KANO问卷
图3-15是问卷系统自动计算得出的KANO问卷分析结论，可以看到“短信提醒”是必备功能，说明是刚需，“邮件提醒”是反向功能，说明用户不需要。（注意，此题目结论只是演示数据，没有任何参考性）
图315 某问卷系统针对KANO模型的数据分析结论
在前边的章节，我说过不要让用户预测行为，或者说，不要在问卷中让用户评价介绍的功能，因为大多数时候用户都会给出正向反馈。KANO模型却给出了不同的思路，允许用户在问卷中给出反馈，但除了正向询问，还要反向询问。这是一种巧妙的做法，你会发现，很多功能，用户说自己需要，但如果你反着问“没这个功能你的评价是什么”，用户又会说无所谓。
KANO模型在B端业务中的应用有很大的局限性，因为KANO模型探讨的是针对个人用户产品功能的优先级决策问题，但B端产品除了个人需求还有业务需求，并且不同用户对同一个功能可能态度完全相反，例如对于IM软件的已读未读功能，一线员工可能认为是一个反向功能，而管理者却认为是一个魅力功能，所以在B端产品设计中要谨慎对待KANO模型。
KANO模型在针对面向个人场景的产品体验相关功能的判断决策，是有应用价值和启发性的。具体是否采用，如何采用，大家在工作实践中自己把握。我个人认为，针对比较重要且核心的体验功能优化，可以考虑使用KANO模型协助分析评估。
3.3.9 NPS的问卷设计
NPS（Net Promoter Score，净推荐值），是一种在商业世界被广泛采用的，评估用户对企业产品或服务忠诚度、满意度的指数。NPS的采集很简单，只有一个题目，询问用户是否愿意推荐产品或服务，然后进行分数统计测算，来得到分值，逻辑如图3-16。
图316 理论上的NPS计算方式
NPS在软件产品的满意度分析中非常常见，使用的方式也更加简单，只需要计算平均分即可。我们在软件产品的新功能，或者新版本的使用中，经常能见到NPS的打分。既可以把NPS的题目插在产品功能界面中，也可以在专门的用户满意度调研中询问NPS。
分析NPS的绝对值没有意义，更合理的使用方法是对比NPS的分值变化，来判定产品或功能设计的好坏。
3.3.10 调研问卷总结
调研问卷是产品经理常用的调研工具，使用得当可以获得有价值的信息，使用不当则可能导致错误的判断。设计过程一定要严谨、仔细，遵循基本的设计原则，否则会让受访者不知所云，充满困惑，也会让辛苦回收的问卷数据混乱，没法使用。
并不是所有场景都适合采用问卷，例如深入挖掘需求、评估产品功能的设计好坏，这些场景都不建议单纯使用问卷协助决策。
大家可以平常做一些问卷设计和统计分析的练习，例如可以设计一些有趣的话题，发给身边的朋友，然后分析总结数据，通过实践，不断提炼总结，加深对工具的理解和思考，这样，在实际工作需要用到问卷调研的时候，就会更有信心，更容易下手。切勿只是看一堆学习资料，等到实际工作有需要时才操刀实践，那样就晚了。
