Размер выборки для A/B-теста

Базовая конверсия, %

Минимальный прирост, %

Уровень доверия, %

Мощность теста, %

Посетителей в сутки

Результат

На вариант53 227
Всего посетителей106 454
Дней на тест107
Ожидаемая конверсия B, %3,3%
Доверие, %95%
Мощность, %80%

Считается до теста, а не после

Сколько посетителей нужно на каждый вариант, чтобы тест заметил заданный прирост конверсии, и сколько дней это займёт.

Размер выборки определяют заранее, иначе тест превращается в гадание. Нужны три числа: текущая конверсия, минимальный прирост, который вы хотите различать, и требуемая надёжность вывода.

Главная неожиданность в том, насколько дорого стоит различить маленький прирост. Заметить рост конверсии на десять процентов при базе в три процента требует около семидесяти тысяч посетителей на вариант; заметить рост на два процента — уже больше миллиона.

Что показывает калькулятор

Сколько посетителей нужно на каждый вариант и суммарно
Сколько дней это займёт при вашем трафике
Конверсию варианта B, которую тест сможет уверенно распознать

Что важно учитывать

Используется стандартная формула для сравнения двух долей при двустороннем тесте.
Мощность 80 процентов — общепринятый минимум: с такой настройкой тест пропустит реальный эффект в одном случае из пяти.

Частые вопросы

Что такое минимальный детектируемый эффект?

Наименьший прирост, который тест сможет надёжно отличить от шума. Чем он меньше, тем больше нужно данных: уменьшение эффекта вдвое увеличивает выборку вчетверо.

Что такое мощность теста?

Вероятность заметить эффект, если он есть. При мощности 80 процентов реальное улучшение будет пропущено в одном случае из пяти. Поднять её до 90 стоит примерно на треть большей выборки.

Можно ли ускорить тест?

Только увеличив трафик, согласившись различать более крупный эффект или подняв базовую конверсию. Сокращать выборку ради скорости бессмысленно — вывод будет ненадёжным.

Что делать, если трафика не хватает?

Тестировать радикальные изменения, а не мелкие; выбирать метрику ближе к верху воронки, где конверсия выше; или отказаться от A/B в пользу качественных исследований.

Мини-пример расчёта

Тест на лендинге

Входные данные: База 3%, прирост 10%, доверие 95%, мощность 80%, 1000 посетителей в сутки

Результат: Около 69 000 на вариант, 138 000 всего — это 138 дней

Комментарий: Почти пять месяцев на один тест. Это честный ответ, и он объясняет, почему на небольшом трафике осмысленнее тестировать грубые гипотезы с ожидаемым приростом в десятки процентов, а не оттенок кнопки.

Полезные переходы

Все инструменты раздела Маркетинг

Размер выборки для A/B-теста

Результат

Связанные инструменты

Значимость A/B-теста

Калькулятор конверсии

Доверительный интервал

Полезные переходы