Как узнать, сколько покупок принесла рассылка

Представим, что магазин отправил письмо постоянным клиентам и получил 900 покупок. Часть этих людей в любом случае зашла бы за привычным товаром. Промокод и последний переход по ссылке покажут, какие покупки связаны с письмом, но не скажут, сколько исчезло бы без отправки. Для этого небольшой части подходящих клиентов сохраняют прежние условия и смотрят, что произойдет.

Клиенты и коммуникации · 5 мин чтения · 22 ноября 2026 · Редакция FIRSTOV

Содержание статьи

Какой вопрос можно задать эксперименту

Запишите решение до отправки. Например, продолжать ли ежемесячное напоминание людям, которые давно покупали расходники. Основной результат — число покупателей с хотя бы одной завершенной покупкой в течение 30 дней после включения в проверку. Дополнительно можно посмотреть вклад после скидки и стоимость канала. Открытие письма в этом расчете почти ничего не решает.

Сначала выделите тех, кому сообщение уместно и кому его можно отправить. Затем случайно распределите клиентов между группами. Сохраните назначение за человеком, даже если у него два адреса или он несколько раз подходит под условия сценария. Участникам контроля можно по-прежнему отправлять подтверждения заказов и остальные обычные сообщения. Группы должны различаться именно той коммуникацией, которую проверяете. Для оценки всех маркетинговых коммуникаций сразу нужен другой опыт, с общим исключением из нескольких сценариев. Разницу разбирает методика контрольных групп Mindbox.

Как получить 180 дополнительных покупателей из 900

Возьмем условный эксперимент. В основную группу случайно попали 9 000 клиентов, в контрольную — 1 000. За одинаковые 30 дней хотя бы одну покупку совершили 900 и 80 человек соответственно. Считаем по всем распределенным клиентам, включая тех, до кого конкретное письмо не дошло. Иначе из одной группы исчезнут люди с менее надежными контактами и сравнение изменит смысл.

ПоказательПолучали напоминаниеКонтроль
Клиентов9 0001 000
Покупателей90080
Доля купивших10%8%

Таблицу можно прокрутить вправо

Разница — 2 процентных пункта, или 25% относительно контрольных 8%. Если бы 9 000 человек покупали с частотой контроля, ожидалось бы 720 покупателей. Наблюдаемая прибавка — 180. Это оценка для группы. Мы не можем пометить 180 конкретных людей как тех, кого убедило письмо, и приписать остальные покупки другим каналам.

Почему относительный рост еще не означает прибыль

Предположим для простоты, что каждый дополнительный покупатель сделал один заказ, который оставил 800 рублей после обычных переменных расходов. Индивидуальных скидок нет. Подготовка и отправка кампании обошлись в 22 500 рублей. Оценка дополнительного вклада — 180 × 800 − 22 500, то есть 121 500 рублей, или 13,50 рубля на участника основной группы.

При купоне на скидку арифметика меняется. Его используют и люди, которые купили бы без письма. Вычитать скидку только у 180 предполагаемых дополнительных клиентов нельзя. Соберите фактический вклад по всем заказам обеих групп после скидок, оплаты, доставки и возвратов. Разделите суммы на количество первоначально назначенных клиентов, сравните и затем вычтите расходы на кампанию, еще не включенные в заказ. Для дорогих категорий посмотрите, не принес ли половину разницы один случайный большой заказ.

Насколько точны два процентных пункта

Даже честное распределение людей не устраняет случайность. Для чисел из таблицы приблизительный 95-процентный интервал разницы долей — примерно от +0,2 до +3,8 процентного пункта. Это обычная оценка для независимых групп при большом числе наблюдений. Так оценивают разброс долей покупателей. Для прибыли нужен отдельный расчет. Если фактической прибавки возле нижней границы недостаточно для покрытия расходов, одного положительного результата по покупателям мало для масштабирования.

Небольшому магазину не обязательно любой ценой удерживать в контроле привычные 10%. При той же общей аудитории более равное распределение часто дает более точное сравнение. Решите заранее, какую минимальную разницу имеет смысл обнаруживать, сколько циклов покупки можно наблюдать и во что обойдется более крупный контроль. Если заказов пока единицы, показывайте абсолютные числа и диапазон возможных исходов. Десятикратный рост с одного заказа на десять выглядит эффектнее, чем помогает принять решение.

Что проверить, если у контроля неожиданно больше заказов

Сначала сравните состав групп на момент распределения. Не ушли ли дорогие постоянные покупатели в одну группу из-за способа сортировки? Не получает ли контроль тот же купон по другому каналу? Не попало ли в основную группу много новых контактов, пришедших в самом конце периода? Затем выберите несколько строк и проследите путь от назначения группы до фактической оплаты.

Если все в порядке, отрицательное значение также пригодно для решения. Напоминание могло вытеснить более уместное предложение, предложить скидку тем, кто и так готов покупать, или дать случайный результат в малой выборке. Не переносите людей между группами задним числом, чтобы исправить знак. До следующего опыта сформулируйте, какое из объяснений проверите отдельно.

Что должно попасть в итоговый отчет

Зафиксируйте дату разделения, правило отбора, численность групп, окно наблюдения, основной результат и обработку возвратов. Проверьте, что контроль случайно не получил такое же предложение из соседней цепочки. Если кампания шла волнами, у последней волны должно пройти столько же времени, сколько у первой. Не останавливайте эксперимент в тот день, когда отчет впервые стал красивым.

В финале сформулируйте решение на языке денег. Например, стоимость канала укладывается в ожидаемую прибавку, но данных недостаточно для распространения на редких покупателей. Тогда следующий шаг — проверить этот сегмент отдельно. Общее письмо по базе и персональное предложение по триггеру вполне могут давать разный результат даже с одинаковым текстом.