Как формулировать вопросы опроса, свободные от смещения

Смещённый вопрос тихо портит ваши данные: ответы выглядят настоящими, но отражают то, как вы спросили, а не то, что люди думают. Хуже всего, что смещённые вопросы естественно писать, потому что они часто вторят тому, что вы надеетесь услышать. Это руководство показывает, как замечать самые распространённые формы смещения и переписывать вопросы, обходя их.

Содержание

• Почему смещение в вопросах имеет значение
• Наводящие вопросы
• Нагруженные вопросы и вопросы с допущениями
• Двуствольные вопросы
• Несбалансированные шкалы и варианты
• Социальная желательность и эффекты порядка
• Чек-лист смещения перед отправкой
• Часто задаваемые вопросы

Почему смещение в вопросах имеет значение

Смысл опроса — узнать нечто, чего вы ещё не знали. Смещённые вопросы разрушают эту цель, подталкивая респондента к определённому ответу, так что результаты подтверждают ваши предположения, а не проверяют их. В итоге вы принимаете решения на данных, которые лишь возвращают вам вашу же формулировку.

Смещение особенно опасно, потому что оно невидимо в результатах. Наводящий вопрос производит чисто выглядящие цифры, графики, которые можно показать, и историю, звучащую убедительно, — вот только она неверна. В отличие от опечатки или битой ссылки, смещение нельзя поймать беглым взглядом на результат. Его нужно ловить в формулировке, до отправки. Вот почему написание нейтральных вопросов — это дисциплина, а не запоздалая мысль.

Наводящие вопросы

Наводящий вопрос подталкивает респондента к определённому ответу своей формулировкой, обычно добавляя положительную или отрицательную окраску. Классический признак — прилагательное, которое думает за респондента.

• Смещённо: «Насколько замечательной была наша дружелюбная служба поддержки?»
• Нейтрально: «Как бы вы оценили полученную поддержку?»

Первая версия предполагает, что команда была одновременно замечательной и дружелюбной; респонденту остаётся только согласиться. Наводящее смещение также проникает через рамку подачи: «Большинство экспертов согласны с X — а вы?» давит на людей, вынуждая присоединиться к предполагаемому консенсусу. Чтобы это исправить, уберите оценочные прилагательные и внешнее давление и позвольте шкале нести суждение. Если вы хотите узнать, была ли поддержка дружелюбной, спросите об этом как об отдельной нейтральной оценке, а не встраивайте вывод в вопрос.

Нагруженные вопросы и вопросы с допущениями

Нагруженный вопрос содержит скрытое допущение, которое респондент может не разделять, загоняя его в ловушку независимо от ответа. Хрестоматийный пример — «Как часто вы всё ещё пропускаете спортзал?»: он предполагает, что человек и ходит в спортзал, и пропускает его. У любого, кто не вписывается в эту посылку, нет честного способа ответить.

• Нагруженно: «Что вам больше всего нравится в нашей новой панели?»
• Лучше: «Пользовались ли вы нашей новой панелью?», а затем, только если да, «Каково ваше впечатление о ней?»

Исправление — вынести допущение в отдельный отсеивающий вопрос и использовать ветвление, чтобы задавать уточняющий вопрос только тем, для кого он верен. Это одно из мест, где хорошая логика опроса напрямую предотвращает смещение. Тот же принцип применим к эмоционально нагруженным словам — термины вроде «проблема», «провал» или «потрясающе» задают настрой ответа, так что предпочитайте нейтральный язык и позвольте респондентам добавить эмоцию самим.

Двуствольные вопросы

Двуствольный вопрос спрашивает о двух вещах сразу, но допускает лишь один ответ, из-за чего данные становится невозможно истолковать.

• Двуствольно: «Насколько вы удовлетворены нашей ценой и качеством?»
• Разделено: «Насколько вы удовлетворены нашей ценой?» и «Насколько вы удовлетворены нашим качеством?»

Если кто-то обожает качество, но ненавидит цену, что он должен ответить на объединённую версию? Что бы он ни выбрал, вы не сможете определить, к какой из половин это относится. Выдаёт такой вопрос слово «и» (а иногда «или»), стоящее между двумя разными понятиями. Всякий раз, заметив его, спросите себя, можно ли оценить каждую сторону независимо — если да, разделите вопрос. Это распространено в опросах удовлетворённости клиентов, где соблазнительно упаковать несколько атрибутов в один аккуратный вопрос и потерять всю диагностическую ценность.

Несбалансированные шкалы и варианты

Смещение прячется в вариантах ответа не меньше, чем в тексте вопроса. Несбалансированная шкала предлагает больше вариантов на одной стороне, перекашивая ответы в этом направлении.

• Несбалансированно: Отлично / Очень хорошо / Хорошо / Удовлетворительно — три положительных варианта и лишь один мягко отрицательный.
• Сбалансированно: Очень хорошо / Хорошо / Нейтрально / Плохо / Очень плохо — симметрично вокруг середины.

То же относится к спискам вариантов множественного выбора. Если ваши варианты не исчерпывающие, респондентов вынуждают к ближайшему доступному ответу, что фабрикует несуществующее согласие. Всегда включайте запасной выход вроде «Другое» или «Ничего из этого», когда список может охватить не всех. И следите за порядком: в длинных списках люди склонны выбирать сверху, поэтому для важных вопросов подумайте о рандомизации порядка вариантов, чтобы размазать это смещение по респондентам.

Социальная желательность и эффекты порядка

Смещение социальной желательности — это склонность отвечать так, чтобы выглядеть хорошо, а не так, как есть на самом деле: преувеличивать здоровые привычки, благотворительность или вежливые мнения. Устранить его нельзя, но снизить можно. Обещайте и обеспечивайте анонимность, задавайте чувствительные вопросы косвенно и подавайте потенциально неловкое поведение как нормальное («Многие люди время от времени...»), чтобы признаться в нём было менее уязвимо.

Эффекты порядка тоньше: более ранние вопросы окрашивают более поздние. Если вы попросите человека перечислить жалобы, а затем спросите общую оценку удовлетворённости, оценка окажется заниженной, потому что жалобы свежи в памяти. Обратное тоже верно. Чтобы этим управлять:

• Задавайте широкие, общие вопросы раньше конкретных, чтобы общая оценка не была загрязнена.
• Держите эмоционально заряженные вопросы подальше от нейтральных измерений, которые вам важны.
• Рандомизируйте порядок пунктов в списке, когда позиция одного пункта первым может исказить результаты.

Эти эффекты важнее всего в опросах вовлечённости сотрудников, где доверие и анонимность сильно влияют на то, ответят ли люди честно вообще. Если сотрудники сомневаются в конфиденциальности своих ответов, смещение социальной желательности берёт верх, и вы не узнаёте ничего настоящего.

Чек-лист смещения перед отправкой

Прежде чем отправить любой опрос, прочитайте каждый вопрос вслух и прогоните его по этому чек-листу. Чтение вслух помогает, потому что смещённая формулировка часто звучит убедительно в голове, но явно перекошенно, когда произнесена.

1. Содержит ли он оценочное прилагательное? («замечательный», «лёгкий», «полезный») — уберите его.
2. Предполагает ли он нечто, чего респондент мог не делать? — вынесите отсеивающий вопрос.
3. Есть ли в нём «и», соединяющее две идеи? — разделите на два вопроса.
4. Сбалансированы ли и исчерпывающи ли варианты ответа? — добавьте середину и «Другое».
5. Можно ли ответить на чувствительный вопрос нечестно, чтобы выглядеть хорошо? — обеспечьте анонимность и нормализуйте поведение.
6. Может ли более ранний вопрос смещать этот? — переупорядочьте так, чтобы общее шло раньше конкретного.

Наконец, попросите кого-то, кто не писал опрос, прочитать его без контекста. Авторы слепы к собственным допущениям, а свежий читатель отметит наводящее слово или скрытую посылку, которую вы перестали замечать несколько дней назад. Хорошая отправная точка — адаптировать нейтральный шаблон: вы можете просмотреть шаблоны, уже написанные аккуратно, а затем подстроить их под свой контекст, вместо того чтобы рисковать смещением с чистого листа.

Часто задаваемые вопросы

Что такое наводящий вопрос в опросе?

Наводящий вопрос подталкивает респондента к определённому ответу своей формулировкой, обычно добавляя положительные или отрицательные прилагательные либо подразумевая консенсус. Например, вопрос «Насколько замечательной была наша дружелюбная команда?» предполагает, что команда была замечательной. Уберите оценочные слова и позвольте шкале оценки нести суждение.

Что такое двуствольный вопрос?

Двуствольный вопрос спрашивает о двух вещах сразу, но допускает лишь один ответ, например «Насколько вы удовлетворены нашей ценой и качеством?». Тот, кто обожает одно и ненавидит другое, не может ответить честно. Исправление — разделить его на два отдельных вопроса.

Как снизить смещение социальной желательности?

Смещение социальной желательности — это когда люди отвечают так, чтобы выглядеть хорошо, а не правдиво. Снизьте его, обещая и обеспечивая анонимность, задавая чувствительные вопросы косвенно и подавая потенциально неловкое поведение как нормальное, чтобы признаться в нём было менее уязвимо.

Влияет ли порядок вопросов опроса на ответы?

Да. Более ранние вопросы могут окрашивать более поздние — этот эффект называют смещением порядка. Просьба перечислить жалобы перед оценкой общей удовлетворённости потянет оценку вниз. Задавайте широкие, общие вопросы раньше конкретных и рандомизируйте порядок списка, когда позиция пункта может исказить результаты.