Как проводить A/B-тестирование ваших опросов

A/B-тестирование нужно не только для лендингов и тем писем — это один из самых надёжных способов улучшить сами опросы. Разделив аудиторию и показав разные версии, вы можете выяснить, что на самом деле повышает процент откликов, снижает отсев и даёт ответы более высокого качества, вместо того чтобы гадать. Это руководство объясняет, что тестировать в опросе, как спроектировать корректный эксперимент и как истолковать результаты, не обманывая себя.

Что такое A/B-тестирование опроса

A/B-тестирование (также называемое сплит-тестированием) — это контролируемый эксперимент, в котором вы случайным образом делите аудиторию на две или более групп и показываете каждой свою версию чего-либо — здесь вашего опроса. Поскольку распределение случайно, группы статистически эквивалентны в начале, так что любую значимую разницу в результатах можно отнести на счёт внесённого вами изменения, а не того, кто случайно оказался в каждой группе. Именно эта рандомизация отделяет настоящий эксперимент от вводящего в заблуждение сравнения «до и после».

Цель — принимать основанные на данных решения о дизайне опроса. Вместо того чтобы спорить, что работает лучше — более короткое вступление или другой первый вопрос, — вы тестируете оба варианта и позволяете поведению респондентов разрешить спор. Это важно, потому что интуиция в дизайне опросов часто ошибается: версия, о которой команда «знает», что она победит, нередко проигрывает, а величина эффектов редко такова, какой её предсказывают. A/B-тестирование заменяет мнение доказательствами и на множестве тестов накапливается в существенно более высокий процент откликов и качество данных.

Стоит отличать A/B-тестирование от смежных идей. Простое сравнение «до и после» — изменить опрос, а затем сравнить прошлый месяц с текущим — не эксперимент, потому что всё прочее, что изменилось за этот период (маркетинговая кампания, сезонный сдвиг, другая аудитория), переплетено с вашим изменением. Только случайное одновременное распределение изолирует эффект самого варианта. Точно так же A/B-тестирование опроса отличается от использования опроса для A/B-тестирования продукта; здесь опрос — это то, что тестируется, и результаты, которые вас волнуют, — это поведение отклика и качество ответов, а не последующие продуктовые показатели.

Что можно тестировать

Многие элементы опроса влияют на результаты, и их стоит тестировать. Приглашение и тема определяют, откроют ли люди опрос и начнут ли его вообще — часто это самый большой рычаг для процента откликов. Длина опроса уравновешивает полноту и завершаемость; более короткая версия часто повышает процент завершений. Открывающий вопрос задаёт импульс, поскольку лёгкий и увлекательный первый вопрос снижает ранний отказ. Формулировка и порядок вопросов могут изменить и завершаемость, и сами ответы. Тип шкалы (например, пятибалльная против семибалльной) может повлиять на то, как респонденты распределяют свои ответы. Даже предложение стимула и индикатор прогресса влияют на завершаемость. Тестируйте по одному элементу за раз, чтобы знать, что вызвало любое изменение.

К сравниваемым итоговым показателям относятся процент открытий, процент начатых, процент завершений, точка отсева, время на прохождение и качество ответов (например, длина и конкретность ответов в свободном тексте). Команды, проводящие повторяющиеся исследования — такие как маркетинговое исследование, проводимое каждый квартал, — получают накапливающийся выигрыш, потому что небольшие протестированные улучшения переносятся на каждую будущую волну.

Проектирование корректного эксперимента

Корректный A/B-тест держится на четырёх принципах. Случайное распределение: делите респондентов случайно, а не по времени или каналу, чтобы группы были сопоставимы. По одной переменной за раз: меняйте единственный элемент между A и B; если вы измените сразу несколько, вы не сможете сказать, какой из них сыграл роль (для этого нужен многофакторный тест и куда большая выборка). Достаточный размер выборки: каждому варианту нужно достаточно ответов, чтобы обнаружить интересующий вас эффект — небольшие приросты требуют больших выборок. Фиксированная длительность теста и правило остановки: заранее решите, как долго вы будете гонять тест или сколько ответов соберёте, и не останавливайтесь в момент, когда результат выглядит благоприятным.

Перед запуском определите вашу основную метрику (единственный результат, который решает победителя) и ваш минимальный обнаруживаемый эффект (наименьшее улучшение, ради которого стоит действовать). Эти два выбора определяют нужный размер выборки и удерживают вас от погони за пустячными различиями.

Чтение статистической значимости

Когда вариант B обходит вариант A, вы должны спросить, реальна ли разница или это просто случайность. На это отвечает статистическая значимость. p-значение — это вероятность увидеть разницу не меньше той, что вы наблюдали, если бы между версиями на самом деле не было разницы. Распространённый порог — p < 0,05, что означает менее 5% вероятности того, что результат — случайность; это соответствует примерно 95% уверенности.

Две оговорки. Во-первых, статистическая значимость — не то же самое, что практическая значимость: при огромной выборке прирост процента завершений на 0,2% может быть «значимым», но при этом не стоить усилий. Всегда взвешивайте величину эффекта. Во-вторых, значимость зависит от размера выборки: многообещающий результат по 30 ответам на вариант обычно слишком хлипок, чтобы ему доверять. Если вы вычислите доверительный интервал вокруг разницы и он с запасом исключает ноль, вы можете быть более уверены, что эффект подлинный.

Распространённые ошибки

Самая вредная ошибка — подглядывать и останавливаться рано: раз за разом проверять результаты и завершать тест в момент, когда он пересекает значимость. Это резко раздувает число ложноположительных результатов; заранее обязуйтесь придерживаться своего размера выборки. Тестирование слишком многих переменных сразу замутняет атрибуцию. Запуск тестов в разные периоды (версия A в понедельник, B в пятницу) смешивает вариант с эффектами дня недели — запускайте их одновременно. Игнорирование размера выборки ведёт к уверенным выводам из шума. А несоответствие соотношения выборки — когда ваше разделение 50/50 приходит, скажем, как 60/40 — сигнализирует о сломанной рандомизации, которая делает тест недействительным. Следите за этим и разберитесь, прежде чем доверять результатам.

Пошаговый рабочий процесс

Проводите каждый тест одинаково дисциплинированно. Сформулируйте чёткую гипотезу («вступление из 3 вопросов повысит завершаемость по сравнению с нынешним вступлением из 6 вопросов»). Выберите одну основную метрику и минимальный обнаруживаемый эффект. Рассчитайте размер выборки, необходимый каждому варианту. Постройте обе версии и разделите трафик случайно и одновременно. Дайте тесту дойти до заранее заданной выборки или длительности, не подглядывая. Проанализируйте как статистическую, так и практическую значимость. Разверните победителя, задокументируйте то, чему научились, и поставьте в очередь следующий тест. Именно этот цикл непрерывного улучшения — то, как быстрые команды, включая многие SaaS-стартапы, неуклонно повышают качество откликов. SurveyMaker упрощает экспериментальную сторону благодаря встроенному распределению и аналитике в реальном времени; если вы взвешиваете платформы для тестирования и отчётности, наше сравнение SurveyMaker и SurveyMonkey охватывает различия в аналитике.

Часто задаваемые вопросы

Сколько ответов мне нужно для A/B-теста опроса? Это зависит от вашего базового уровня и наименьшего прироста, который вы хотите обнаружить, — меньшие эффекты требуют больших выборок. В качестве грубого ориентира, чтобы обнаружить несколько процентных пунктов разницы в проценте завершений, обычно требуются сотни ответов на вариант; используйте калькулятор размера выборки или мощности с вашими конкретными числами.

Могу ли я тестировать больше двух версий сразу? Да — это A/B/n-тест. Каждый дополнительный вариант дробит ваш трафик ещё сильнее и требует большего общего числа ответов, а сравнение многих вариантов повышает риск ложноположительных результатов, так что учитывайте это при оценке значимости.

Почему не стоит останавливать тест, как только он выглядит значимым? Ранняя остановка, когда результаты впервые пересекают линию значимости, резко раздувает частоту ложноположительных результатов, потому что случайные колебания часто пересекают и вновь пересекают порог. Обязуйтесь придерживаться заранее заданного размера выборки или длительности и оценивайте только в конце.

В чём разница между статистической и практической значимостью? Статистическая значимость говорит вам, что разница вряд ли обусловлена случайностью; практическая значимость говорит, что разница достаточно велика, чтобы иметь значение для вашего решения. Большая выборка может сделать крошечную, несущественную разницу статистически значимой, поэтому всегда проверяйте также величину эффекта.