A/B-тестирование: как проверить изменение и не принять случайность за результат
Два письма принесли разное число заказов. Разница может быть следствием текста, состава аудитории или случайности. A/B-тест помогает отделить влияние изменения, если группы сформированы правильно, а правила оценки выбраны до запуска.
Содержание статьи
Начните с решения, которое изменится после теста
Сформулируйте гипотезу как связь изменения с действием клиента. Например: «Понятные условия доставки рядом с кнопкой оформления увеличат долю оплаченных заказов». Основной показатель здесь — оплаченные заказы на участника теста. Клики по условиям помогут объяснить поведение, но не заменят итоговую цель.
Опишите версии A и B, аудиторию, момент включения и единицу распределения. Если человек приходит на сайт несколько раз, он должен видеть назначенный вариант. Случайное переключение при каждом визите смешает опыт и усложнит интерпретацию.
Проверяйте одну содержательную гипотезу. Можно менять несколько деталей внутри одного решения, например целый блок условий доставки. Но тогда вывод относится к этому блоку целиком. Он не докажет, что именно цвет кнопки или одна фраза вызвали результат.
Как собрать сравнимые группы
Участников распределяют случайно. Обе группы набирают одновременно по одинаковым правилам допуска. Письмо одной группе во вторник, другой в субботу проверяет вместе с текстом еще и день отправки. Сравнение «до и после» тоже зависит от сезона, рекламы и состава аудитории.
Перед основным тестом проверьте, что обе версии технически доступны, события учитываются одинаково и распределение соответствует плану. Неожиданное соотношение групп может указывать на ошибку включения или учета. При необходимости проведите A/A-проверку: одинаковый вариант для двух групп помогает найти технические расхождения.
Запишите исключения заранее. Например, сотрудники и тестовые заказы не должны участвовать в коммерческой метрике. Удалять неудобные наблюдения после просмотра результата нельзя: это меняет условия проверки задним числом.
Как выбрать метрику и размер выборки
Основная метрика определяет решение. Рядом нужны ограничения: возвраты, жалобы, скорость страницы, вклад на клиента. Изменение может увеличить число заказов и одновременно ухудшить их экономику.
Размер выборки рассчитывают до старта по исходному показателю, минимальному полезному эффекту, допустимому риску ошибки и мощности проверки. Требование «собрать тысячу посетителей» без этих величин ничего не гарантирует. При редких покупках даже большая аудитория может дать мало событий.
Минимальный полезный эффект выбирает бизнес. Если изменение дорого поддерживать, прирост на долю процента может не окупить работу. Такая граница помогает не тратить месяцы на поиск эффекта, который все равно не изменит решение.
Что показывает небольшой числовой пример
В условном эксперименте по 1 000 независимых участников в каждой группе. В A купили 40 человек, в B — 50. Конверсии равны 4% и 5%. Разница — 1 процентный пункт, относительный рост — 25%. Эти формулировки описывают одну наблюдаемую разницу, но звучат очень по-разному.
При обычном приближенном расчете для двух долей 95-процентный интервал разницы здесь примерно от −0,8 до +2,8 процентного пункта. Он включает ноль. По этим данным нельзя уверенно объявить B победителем в заранее заданной проверке на таком уровне.
Этот пример иллюстрирует неопределенность. Для реального теста метод расчета подбирают под метрику, распределение, единицу рандомизации и правила остановки. Денежный показатель с редкими крупными заказами нельзя автоматически анализировать как бинарную покупку.
Почему нельзя останавливать тест при первом красивом числе
Если постоянно проверять обычную статистическую значимость и завершать эксперимент при первом положительном результате, вероятность ложного вывода растет. Выберите фиксированный план или метод последовательного анализа, который учитывает такие просмотры.
Длительность должна также покрывать существенные циклы поведения. Для магазина это могут быть различия рабочих и выходных дней. Для услуги с длинным выбором понадобится дождаться оплат. Законченная отправка письма еще не означает законченный период наблюдения за покупкой.
Не меняйте основной показатель после просмотра отчета. Рост кликов при прежнем уровне продаж может стать поводом для новой гипотезы. Объявлять исходную цель достигнутой на этом основании нельзя.
Что делать малому бизнесу с небольшим трафиком
Сначала устраняйте подтвержденные ошибки: неработающую оплату, неверную цену, сломанную ссылку. Для их исправления A/B-тест обычно не нужен. Затем используйте интервью, наблюдение за оформлением и разбор обращений, чтобы выбрать более существенное изменение.
При малой выборке допустимо принять решение с неопределенностью. Зафиксируйте его как рабочее решение и продолжайте наблюдение. Это честнее, чем назвать несколько заказов доказанным ростом.
В журнале эксперимента сохраните гипотезу, версии, даты, правила включения, метрику, размер групп и принятое решение. Отдельно отметьте, что осталось неизвестным. Такой журнал защищает команду от повторения той же проверки под новым названием и помогает связать эксперименты с маркетинговым аудитом.
Продолжить разбор
Источники и материалы
Обсудить задачу с командой: Аналитика бизнеса и маркетинга.