学习如何识别并修正带有偏见的问卷问题。针对诱导性、预设性、双重问题和不平衡问题的实用修正方法,让你的数据始终值得信赖。
一个带有偏见的问题会悄悄地腐蚀你的数据:答案看起来是真实的,但它们反映的是你如何提问,而非人们真正的想法。最糟糕的是,带偏见的问题写起来感觉很自然,因为它们往往呼应了你希望听到的内容。本指南将向你展示如何识别最常见的几种偏见形式,并绕开它们重新措辞。
目录
为什么问题偏见很重要
问卷的意义在于了解一些你原本并不知道的事情。带偏见的问题会挫败这一目的,因为它们把受访者推向某个特定答案,于是结果证实了你的假设,而不是对其进行检验。你最终会依据只不过是把你自己的措辞原样反射回来的数据来做决策。
偏见之所以格外危险,是因为它在结果中是隐形的。一个诱导性问题会产出看起来干净的数字、可以拿去展示的图表,以及一个听上去很有说服力的故事——只是它错了。与错别字或失效链接不同,你无法通过瞥一眼输出结果就发现偏见。你必须在措辞中、在发送之前就将其捕捉出来。这就是为什么撰写中立的问题是一门功课,而不是事后的补救。
诱导性问题
诱导性问题通过其措辞把受访者推向某个特定答案,通常是加上正面或负面的倾向性。经典的破绽是一个替受访者思考的形容词。
- 带偏见:“我们友善的客服团队有多棒?”
- 中立:“您如何评价您所获得的客服支持?”
第一个版本预设了这个团队既棒又友善;受访者唯一要做的就是表示同意。诱导性偏见也会通过框架效应悄然渗入:“大多数专家都认同 X——您呢?”会向人们施压,迫使其与所谓的共识保持一致。要修正它,就去掉评价性形容词和外部压力,让量表去承担判断。如果你想知道客服是否友善,就把它作为一个独立的中立评分来问,而不是把结论内嵌进问题里。
预设性与含假设的问题
预设性问题包含一个受访者可能并不认同的隐藏假设,使其无论如何作答都会落入陷阱。教科书式的例子是“您还多久翘一次健身房?”——它预设了此人既去健身房又会翘掉。任何不符合这一前提的人都没有诚实作答的办法。
- 预设性:“您最喜欢我们新仪表盘的哪一点?”
- 更好:“您使用过我们的新仪表盘吗?”,然后仅当回答为“是”时,再问“您对它的印象如何?”
解决办法是把假设拆分为它自己的筛选问题,并使用分支,从而只向那些前提为真的人提出追问。这正是良好的问卷逻辑能够直接防止偏见的地方之一。同样的原则也适用于带有情绪色彩的词语——“问题”“失败”或“了不起”这类词会预先引导一种回应,所以应优先使用中立的措辞,让受访者自己去注入情绪。
双重问题
双重问题一次询问两件事,却只允许一个答案,于是数据变得无法解读。
- 双重:“您对我们的价格和质量有多满意?”
- 拆分:“您对我们的价格有多满意?”以及“您对我们的质量有多满意?”
如果有人喜爱质量却讨厌价格,他该如何回答那个合并版本?无论他选什么,你都无法分辨这指的是两半中的哪一半。破绽就是夹在两个不同概念之间的“和”字(有时是“或”字)。每当你发现它,就问问每一方是否都可以被独立评分——如果可以,就把问题拆开。这在客户满意度问卷中很常见,人们往往忍不住把若干属性打包进一个整洁的问题里,从而失去了全部的诊断价值。
不平衡的量表与选项
偏见藏在答案选项里的程度,不亚于藏在问题文本里。不平衡的量表在一侧提供更多选项,从而把回答朝那个方向倾斜。
- 不平衡:优秀/很好/好/一般——三个正面选项,却只有一个温和的负面选项。
- 平衡:很好/好/中立/差/很差——围绕中间点对称。
同样的道理也适用于多选题的选项列表。如果你的选项并不穷尽,受访者就会被迫选向最接近的可用答案,从而制造出并不存在的一致。当列表可能无法覆盖所有人时,务必加上“其他”或“以上皆非”这样的应急出口。还要留意顺序:在长列表中,人们倾向于从顶端选择,所以对于重要的问题,不妨考虑随机化选项顺序,把这种偏见分散到各个受访者身上。
社会赞许性与顺序效应
社会赞许性偏差是一种倾向,即以看上去体面的方式作答,而非以真实情况作答——夸大健康习惯、慈善捐赠或礼貌性的看法。你无法消除它,但可以减轻它。承诺并提供匿名,用间接方式提出敏感问题,并把可能令人尴尬的行为描述为正常(“许多人偶尔会……”),好让承认它时不那么暴露自己。
顺序效应更为微妙:前面的问题会给后面的问题染上色彩。如果你先让某人列举抱怨,再请其给出一个总体满意度评分,那么评分会偏低,因为抱怨正萦绕于脑海。反过来同样成立。要管理这一点:
- 把宽泛的、总体的问题放在具体问题之前,使总体评分不被污染。
- 让带有情绪张力的问题远离你所在意的中立测量项。
- 当某一项排在首位可能扭曲结果时,随机化列表中各项的顺序。
这些效应在员工敬业度问卷中最为重要,在那里,信任与匿名极大地影响着人们是否会诚实作答。如果员工怀疑自己的回答并不保密,社会赞许性偏差就会占据上风,你也就学不到任何真实的东西。
发送前的偏见核查清单
在发送任何问卷之前,把每个问题大声读出来,并让它通过这份清单。大声朗读之所以有帮助,是因为带偏见的措辞在你脑中往往听起来很有说服力,一旦念出声来却明显是有倾向的。
- 它包含评价性形容词吗?(“棒”“简单”“有帮助”)——去掉它。
- 它是否预设了受访者可能并未做过的事?——拆出一个筛选问题。
- 它是否有一个“和”字连接着两个想法?——拆成两个问题。
- 答案选项是否平衡且穷尽?——加上一个中间点和一个“其他”。
- 一个敏感问题是否可能为了体面而被不诚实地回答?——保证匿名并使该行为正常化。
- 前面的某个问题是否可能在使这个问题产生偏差?——重新排序,让宽泛的排在具体的之前。
最后,让一个没有参与撰写这份问卷的人在毫无背景的情况下读一遍。作者对自己的假设是盲目的,而一位全新的读者会指出那个诱导性词语或隐藏前提——那正是你几天前起就已经视而不见的东西。一个好的起点是改用一份中立的模板:你可以浏览模板,它们已经过精心措辞,然后根据你的情境加以调整,而不必从零开始冒着产生偏见的风险。
常见问题
问卷中的诱导性问题是什么?
诱导性问题通过其措辞把受访者推向某个特定答案,通常是加上正面或负面的形容词,或暗示一种共识。例如,问“我们友善的团队有多棒?”就预设了这个团队很棒。去掉评价性词语,让评分量表去承担判断。
什么是双重问题?
双重问题一次询问两件事,却只允许一个答案,比如“您对我们的价格和质量有多满意?”。一个喜爱其一却讨厌另一的人无法诚实作答。解决办法是把它拆成两个独立的问题。
我该如何减少社会赞许性偏差?
社会赞许性偏差指的是人们以看上去体面的方式作答,而非以真实情况作答。减少它的方法是:承诺并提供匿名,用间接方式提出敏感问题,并把可能令人尴尬的行为描述为正常,好让承认它时不那么暴露自己。
问卷问题的顺序会影响答案吗?
会。前面的问题会给后面的问题染上色彩,这种效应称为顺序偏差。在评价总体满意度之前先让人们列举抱怨,会把评分往下拉。把宽泛的、总体的问题放在具体问题之前,并在某项的位置可能扭曲结果时随机化列表顺序。