Калькулятор статистической значимости A/B-теста
Два варианта лендинга, у каждого посетители и заявки. Калькулятор покажет конверсию, разницу и уверенность — и прямо скажет, можно ли разнице верить или это пока случайность.
Разница пока может быть случайной. Не останавливайте тест и не выключайте вариант.
Нужно ещё примерно 545 посетителей в каждый вариант, чтобы увидеть такую разницу с выбранной уверенностью
в процентах от A · +1,50 в процентных пунктах
Двусторонний z-тест для двух долей. Считается в вашем браузере, данные никуда не отправляются. Тест на очень малых числах не имеет смысла: останавливать его на первых 10 заявках — самая частая ошибка.
Почему «на глаз» не работает
Представьте два варианта по 200 посетителей: в первом 8 заявок, во втором 12. Выглядит как +50 % — соблазн выключить первый и праздновать. На самом деле на таких числах разница в 4 заявки могла случиться просто так: подбросьте монетку 200 раз дважды и получите разные результаты, хотя монетка та же.
Значимость отвечает ровно на этот вопрос: насколько вероятно, что такая разница возникла случайно. 95 % уверенности означает, что случайность объясняет разницу лишь в одном случае из двадцати. Ниже этого порога вывод делать рано — даже если цифры «явно» отличаются.
Когда останавливать тест
Правило простое: заранее решите, до какого количества заявок вы тест доводите, и не подглядывайте с решением каждый час. Постоянные проверки с остановкой «как только стало значимым» сами по себе делают ложные выводы чаще.
Ориентир для лендинга товарки: минимум несколько десятков заявок в каждом варианте, а лучше — сотня. Калькулятор подсказывает, сколько ещё посетителей нужно, чтобы текущая разница стала надёжной. Если нужно ещё 40 тысяч — разница мизерная, и быстрее найти другую гипотезу, чем доказывать эту.
Что тестировать на лендинге товарки
Первый экран и оффер дают наибольшую разницу: заголовок, главное фото, цена и то, что обещает кнопка. Дальше — механика: комплект «1+1» против скидки, таймер против его отсутствия, длина формы. Мелочи вроде цвета кнопки на товарке почти никогда не окупают потраченного трафика.
В LandEmpire A/B-тест встроен: трафик делится между версиями сам, а сервис считает значимость без таблиц и без этого калькулятора. Здесь он нужен, если вы крутите тест где-то ещё или проверяете чужие цифры.
Частые вопросы
Какой порог выбрать — 90, 95 или 99 %?
95 % — стандарт. 90 % берут, когда решение дешёвое и обратимое (поменять заголовок), 99 % — когда дорогое (переделать весь оффер). Чем выше порог, тем больше трафика нужно.
Можно ли тестировать три варианта сразу?
Можно, но сравнивать их надо осторожно: чем больше вариантов, тем выше шанс случайной «победы». Сравнивайте каждый новый вариант с контролем отдельно и поднимайте порог уверенности.
Что делать, если уверенность застряла на 80 %?
Чаще всего это значит, что разницы между вариантами почти нет. Не докручивайте тест бесконечно — возьмите другую гипотезу, которая меняет оффер, а не оформление.
Калькулятор считает заявки или выкуп?
То, что вы введёте. Для товарки полезнее считать не заявки, а выкупленные заказы: вариант может давать больше заявок и меньше денег. В LandEmpire статус выкупа возвращается в аналитику автоматически.
Другие инструменты
Сервис сам делит трафик и считает значимость — без таблиц и ручных подсчётов.
Собрать лендинг со встроенным A/B-тестомFree без карты, Pro на 7 дней бесплатно