A/B-тест лендингу: коли зупинитись і довіряти цифрам

Більшість байєрів зупиняють A/B тест лендингу або занадто рано — «бачу, що один варіант кращий», — або тягнуть до останнього, бо «ще не впевнений». Обидва сценарії коштують грошей. У цій статті — конкретні орієнтири: скільки лідів потрібно зібрати, що таке статистична значущість на практиці і як не зробити хибний висновок через нормальний шум трафіку.

Чому 30–50 лідів — це не тест

Коли байєр запускає спліт-тест і бачить, що варіант A дає CR 4,2%, а варіант B — 3,1%, перша думка: «все ясно, беру A». Але на вибірці в 40 лідів ця різниця — звичайний шум. Один день із поганою аудиторією, один креатив, який зайшов краще в одну ротацію — і картина перевернеться.

Практичний орієнтир для товарки з оплатою при отриманні:

• мінімум 200–250 унікальних відвідувачів на кожен варіант до порівняння;
• або 50–80 цільових дій (замовлень, не просто кліків) на кожен варіант.

Якщо лід коштує 90 ₴ і ти хочеш зібрати по 60 замовлень на кожен варіант — тест коштуватиме ~10 800 ₴ лише на трафік. Це не помилка бюджетування, це ціна правильного рішення. Дешевший тест дає дорожчу помилку.

Що таке статистична значущість і навіщо вона байєру

Статистична значущість — це не складна математика. Це відповідь на одне питання: «яка ймовірність, що різниця між варіантами — не випадковість?»

Стандарт у більшості A/B-інструментів — 95% значущість. Це означає: лише 5% шансів, що ти бачиш різницю там, де її немає. Для товарки з чеком 790–1 490 ₴ і бюджетом на тест у 5 000–15 000 ₴ це прийнятний ризик.

Як перевірити без формул: скористайся будь-яким безкоштовним калькулятором спліт-тесту (їх повно в пошуку). Вводиш кількість відвідувачів і конверсій для кожного варіанту — отримуєш відсоток значущості. Якщо менше 90% — тест ще не завершений. 90–95% — можна приймати рішення обережно. Вище 95% — результат надійний.

Приклад: варіант A — 310 відвідувачів, 21 замовлення (CR 6,8%). Варіант B — 298 відвідувачів, 14 замовлень (CR 4,7%). Різниця виглядає суттєвою, але значущість — лише 81%. Тест треба продовжити.

Коли зупинятись раніше: три законні причини

Іноді тест справді можна завершити до досягнення «ідеальної» вибірки:

1. Один варіант провалюється катастрофічно. Якщо варіант B дає CR 1,2% проти 5,8% у варіанта A на вибірці 150+ відвідувачів — продовжувати немає сенсу. Ти просто спалюєш бюджет на явного аутсайдера.

2. Тест іде більше 14 днів. Якщо за два тижні не набрав потрібну вибірку — або трафіку занадто мало для тесту, або різниця між варіантами мінімальна і практично не впливає на прибуток. В обох випадках залишай той варіант, де CR хоча б трохи вищий, і рухайся далі.

3. Зовнішні умови змінились. Якщо посеред тесту змінився оффер, закінчився товар на складі або Facebook різко підняв CPM — дані зіпсовані. Краще зупинити і почати заново з чистими умовами.

Що робити сьогодні: подивись на свої активні тести. Якщо будь-який іде більше 14 днів без чіткого переможця — прийми рішення і закрий.

Що тестувати, щоб різниця була помітною

Багато байєрів порівнюють два лендинги, де змінили колір кнопки або шрифт заголовку. Різниця в CR між такими варіантами — 0,3–0,8%. Щоб виявити таку різницю, потрібна вибірка в тисячі відвідувачів. Для більшості зв'язок це нереально.

Тестуй те, що реально рухає CR на 2–5%:

• офер і заголовок — «Схуди за 21 день» проти «Мінус 7 кг за місяць без дієт»;
• головне фото або відео — товар на білому тлі проти товару в руках;
• форма замовлення — коротка (ім'я + телефон) проти довгої (+ місто, + коментар);
• соціальний доказ — кількість відгуків, блок «вже замовили 1 840 людей»;
• ціна і спосіб її подачі — 990 ₴ проти «990 ₴ замість 1 490 ₴».

Кожна з цих змін здатна дати різницю, яку видно вже на 200–300 відвідувачах. У LandEmpire можна зібрати обидва варіанти лендингу і одразу отримати окремі посилання для кожного — зручно, коли треба швидко запустити тест через трекер або просто розділити трафік вручну між двома кабінетами.

Як читати результат і не обдурити себе

Навіть коли тест завершений і значущість вище 95%, є кілька помилок, які роблять висновок хибним.

Помилка 1: порівнювати CR, а не гроші. Варіант A — CR 7%, середній чек 690 ₴. Варіант B — CR 5,5%, середній чек 990 ₴. Варіант B приносить більше грошей на той самий трафік, хоча «конверсія нижча». Завжди рахуй дохід на 1 000 відвідувачів.

Помилка 2: ігнорувати апрув. Якщо варіант A дає більше замовлень, але апрув 55%, а варіант B — менше замовлень, але апрув 72% — реальний результат може бути протилежним до того, що показує CR. Чекай дані від кол-центру хоча б за 3–4 дні перед фінальним рішенням.

Помилка 3: тестувати на різних аудиторіях. Якщо варіант A крутиться на lookalike 1%, а варіант B — на широкій аудиторії, ти тестуєш не лендинги, а аудиторії. Один і той самий рекламний кабінет, один і той самий креатив, розділений трафік — тільки так тестування конверсії дає чисті дані.

Помилка 4: зупинитись після першого переможця. Знайшов кращий варіант — добре. Тепер він стає контрольним, і ти тестуєш наступну гіпотезу. Спліт-тест — це не разова дія, це процес. Байєри, які тестують постійно, через 2–3 місяці мають лендинги з CR на 2–4% вище стартового.

Підсумок

1. Збирай мінімум 50–80 замовлень на варіант перед будь-яким висновком — менша вибірка дає хибні результати.
2. Перевіряй статистичну значущість через калькулятор: рішення приймай при 90%+, довіряй повністю при 95%+.
3. Зупиняй тест достроково лише якщо один варіант провалився катастрофічно, тест іде більше 14 днів або умови змінились.
4. Рахуй дохід на 1 000 відвідувачів і апрув, а не тільки CR — інакше можеш обрати гірший варіант.
5. Тестуй суттєві елементи — заголовок, оффер, форму, головне фото — а не колір кнопки: тільки так різниця буде помітною на реальному бюджеті.