Калькулятор статистичної значущості A/B-тесту
Два варіанти лендингу, у кожного відвідувачі й заявки. Калькулятор покаже конверсію, різницю і впевненість — і прямо скаже, чи різниці вже можна вірити, чи це поки випадковість.
Різниця поки може бути випадковою. Не зупиняйте тест і не вимикайте варіант.
Потрібно ще приблизно 545 відвідувачів у кожен варіант, щоб побачити таку різницю з обраною впевненістю
у відсотках від A · +1,50 у процентних пунктах
Двосторонній z-тест для двох часток. Рахується у вашому браузері, дані нікуди не відправляються. Тест на дуже малих числах не має сенсу: зупиняти його на перших 10 заявках — найчастіша помилка.
Чому «на око» не працює
Уявіть два варіанти по 200 відвідувачів: у першому 8 заявок, у другому 12. Виглядає як +50 % — спокуса вимкнути перший і святкувати. Насправді на таких числах різниця в 4 заявки могла статися просто так: підкиньте монетку 200 разів двічі й отримаєте різні результати, хоча монетка та сама.
Значущість відповідає рівно на це питання: наскільки ймовірно, що така різниця виникла випадково. 95 % впевненості означає, що випадковість пояснює різницю лише в одному випадку з двадцяти. Нижче цього порога висновок робити рано — навіть якщо цифри «явно» відрізняються.
Коли зупиняти тест
Правило просте: заздалегідь вирішіть, до якої кількості заявок ви тест доводите, і не підглядайте з рішенням щогодини. Постійні перевірки з зупинкою «як тільки стало значущим» самі по собі роблять хибні висновки частішими.
Орієнтир для лендингу товарки: щонайменше кілька десятків заявок у кожному варіанті, а краще — сотня. Калькулятор підказує, скільки ще відвідувачів потрібно, щоб поточна різниця стала надійною. Якщо потрібно ще 40 тисяч — різниця мізерна, і швидше знайти іншу гіпотезу, ніж доводити цю.
Що тестувати на лендингу товарки
Перший екран і оффер дають найбільшу різницю: заголовок, головне фото, ціна і те, що обіцяє кнопка. Далі — механіка: комплект «1+1» проти знижки, таймер проти його відсутності, довжина форми. Дрібниці на кшталт кольору кнопки на товарці майже ніколи не окупають витраченого трафіку.
У LandEmpire A/B-тест вбудований: трафік ділиться між версіями сам, а сервіс рахує значущість без таблиць і без цього калькулятора. Тут він потрібен, якщо ви крутите тест деінде або перевіряєте чужі цифри.
Часті запитання
Який поріг обрати — 90, 95 чи 99 %?
95 % — стандарт. 90 % беруть, коли рішення дешеве й оборотне (поміняти заголовок), 99 % — коли дороге (переробити весь оффер). Чим вищий поріг, тим більше трафіку потрібно.
Чи можна тестувати три варіанти одразу?
Можна, але порівнювати їх треба обережно: що більше варіантів, то вища шанс випадкової «перемоги». Порівнюйте кожен новий варіант із контролем окремо й піднімайте поріг впевненості.
Що робити, якщо впевненість застрягла на 80 %?
Найчастіше це означає, що різниці між варіантами майже немає. Не докручуйте тест нескінченно — візьміть іншу гіпотезу, яка змінює оффер, а не оформлення.
Калькулятор рахує заявки чи викуп?
Те, що ви введете. Для товарки корисніше рахувати не заявки, а викуплені замовлення: варіант може давати більше заявок і менше грошей. У LandEmpire статус викупу повертається в аналітику автоматично.
Інші інструменти
Сервіс сам ділить трафік і рахує значущість — без таблиць і ручних підрахунків.
Зібрати лендинг із вбудованим A/B-тестомFree без картки, Pro на 7 днів безкоштовно