A/B-тест лендинга: когда остановиться и доверять цифрам

Большинство байеров останавливают A/B тест лендинга либо слишком рано — «вижу, что один вариант лучше», — либо тянут до последнего, потому что «ещё не уверен». Оба сценария стоят денег. В этой статье — конкретные ориентиры: сколько лидов нужно собрать, что такое статистическая значимость на практике и как не сделать ложный вывод из-за обычного шума трафика.

Почему 30–50 лидов — это не тест

Когда байер запускает сплит-тест и видит, что вариант A даёт CR 4,2%, а вариант B — 3,1%, первая мысль: «всё ясно, беру A». Но на выборке в 40 лидов эта разница — обычный шум. Один день с плохой аудиторией, один креатив, который зашёл лучше в одну ротацию — и картина перевернётся.

Практический ориентир для товарки с оплатой при получении:

• минимум 200–250 уникальных посетителей на каждый вариант до сравнения;
• или 50–80 целевых действий (заказов, а не просто кликов) на каждый вариант.

Если лид стоит 90 ₴ и ты хочешь собрать по 60 заказов на каждый вариант — тест обойдётся ~10 800 ₴ только на трафик. Это не ошибка бюджетирования, это цена правильного решения. Дешёвый тест даёт дорогую ошибку.

Что такое статистическая значимость и зачем она байеру

Статистическая значимость — это не сложная математика. Это ответ на один вопрос: «какова вероятность, что разница между вариантами — не случайность?»

Стандарт в большинстве A/B-инструментов — 95% значимость. Это означает: лишь 5% шансов, что ты видишь разницу там, где её нет. Для товарки с чеком 790–1 490 ₴ и бюджетом на тест в 5 000–15 000 ₴ это приемлемый риск.

Как проверить без формул: воспользуйся любым бесплатным калькулятором сплит-теста (их полно в поиске). Вводишь количество посетителей и конверсий для каждого варианта — получаешь процент значимости. Если меньше 90% — тест ещё не завершён. 90–95% — можно принимать решение осторожно. Выше 95% — результат надёжный.

Пример: вариант A — 310 посетителей, 21 заказ (CR 6,8%). Вариант B — 298 посетителей, 14 заказов (CR 4,7%). Разница выглядит существенной, но значимость — всего 81%. Тест нужно продолжить.

Когда останавливаться раньше: три законные причины

Иногда тест действительно можно завершить до достижения «идеальной» выборки:

1. Один вариант проваливается катастрофически. Если вариант B даёт CR 1,2% против 5,8% у варианта A на выборке 150+ посетителей — продолжать нет смысла. Ты просто сжигаешь бюджет на явного аутсайдера.

2. Тест идёт больше 14 дней. Если за две недели не набрал нужную выборку — либо трафика слишком мало для теста, либо разница между вариантами минимальна и практически не влияет на прибыль. В обоих случаях оставляй тот вариант, где CR хотя бы чуть выше, и двигайся дальше.

3. Внешние условия изменились. Если посреди теста изменился оффер, закончился товар на складе или Facebook резко поднял CPM — данные испорчены. Лучше остановить и начать заново с чистыми условиями.

Что сделать сегодня: посмотри на свои активные тесты. Если какой-то идёт больше 14 дней без явного победителя — прими решение и закрой.

Что тестировать, чтобы разница была заметной

Многие байеры сравнивают два лендинга, где поменяли цвет кнопки или шрифт заголовка. Разница в CR между такими вариантами — 0,3–0,8%. Чтобы выявить такую разницу, нужна выборка в тысячи посетителей. Для большинства связок это нереально.

Тестируй то, что реально двигает CR на 2–5%:

• оффер и заголовок — «Похудей за 21 день» против «Минус 7 кг за месяц без диет»;
• главное фото или видео — товар на белом фоне против товара в руках;
• форма заказа — короткая (имя + телефон) против длинной (+ город, + комментарий);
• социальное доказательство — количество отзывов, блок «уже заказали 1 840 человек»;
• цена и способ её подачи — 990 ₴ против «990 ₴ вместо 1 490 ₴».

Каждое из этих изменений способно дать разницу, которая видна уже на 200–300 посетителях. В LandEmpire можно собрать оба варианта лендинга и сразу получить отдельные ссылки для каждого — удобно, когда нужно быстро запустить тест через трекер или просто разделить трафик вручную между двумя кабинетами.

Как читать результат и не обмануть себя

Даже когда тест завершён и значимость выше 95%, есть несколько ошибок, которые делают вывод ложным.

Ошибка 1: сравнивать CR, а не деньги. Вариант A — CR 7%, средний чек 690 ₴. Вариант B — CR 5,5%, средний чек 990 ₴. Вариант B приносит больше денег на тот же трафик, хотя «конверсия ниже». Всегда считай доход на 1 000 посетителей.

Ошибка 2: игнорировать апрув. Если вариант A даёт больше заказов, но апрув 55%, а вариант B — меньше заказов, но апрув 72% — реальный результат может быть противоположным тому, что показывает CR. Жди данные от колл-центра хотя бы за 3–4 дня перед финальным решением.

Ошибка 3: тестировать на разных аудиториях. Если вариант A крутится на lookalike 1%, а вариант B — на широкой аудитории, ты тестируешь не лендинги, а аудитории. Один и тот же рекламный кабинет, один и тот же креатив, разделённый трафик — только так тестирование конверсии даёт чистые данные.

Ошибка 4: остановиться после первого победителя. Нашёл лучший вариант — хорошо. Теперь он становится контрольным, и ты тестируешь следующую гипотезу. Сплит-тест — это не разовое действие, это процесс. Байеры, которые тестируют постоянно, через 2–3 месяца имеют лендинги с CR на 2–4% выше стартового.

Итог

1. Собирай минимум 50–80 заказов на вариант перед любым выводом — меньшая выборка даёт ложные результаты.
2. Проверяй статистическую значимость через калькулятор: решение принимай при 90%+, доверяй полностью при 95%+.
3. Останавливай тест досрочно только если один вариант провалился катастрофически, тест идёт больше 14 дней или условия изменились.
4. Считай доход на 1 000 посетителей и апрув, а не только CR — иначе можешь выбрать худший вариант.
5. Тестируй существенные элементы — заголовок, оффер, форму, главное фото — а не цвет кнопки: только так разница будет заметной на реальном бюджете.