Значимость A/B-теста

Посетители варианта A

Конверсии A

Посетители варианта B

Конверсии B

Уровень доверия, %

Результат

Значимо ли различиеДа, различие значимо при 95%
p-значение0,0273
Конверсия A, %3%
Конверсия B, %3,8%
Прирост, %26,67%
z-статистика2,207

Прирост на бумаге и прирост на самом деле

Проверяет z-критерием для двух долей, можно ли считать разницу конверсий настоящей, а не случайной.

Вариант B показал конверсию 3,8 против 3,0 у варианта A — казалось бы, победа. Но при небольших выборках такая разница возникает случайно сплошь и рядом, и решение, принятое по ней, обойдётся дороже, чем отсутствие решения.

Проверка сравнивает наблюдаемую разницу с тем разбросом, который дал бы случай. Итог — p-значение: вероятность увидеть такую разницу, если на самом деле варианты одинаковы. Меньше пяти процентов — принято считать различие настоящим.

Что показывает калькулятор

Конверсию каждого варианта и относительный прирост
P-значение и z-статистику
Прямой вывод: значимо различие или нет при выбранном уровне доверия

Что важно учитывать

Используется двусторонний z-критерий для двух долей — стандартный инструмент для сравнения конверсий.
Тест предполагает, что трафик делился случайно и обе группы работали одновременно; последовательное сравнение недель даст неверный результат.

Частые вопросы

Когда можно останавливать тест?

Когда набрана заранее рассчитанная выборка. Подглядывать и останавливаться в момент, когда p впервые упало ниже 0,05, — методологическая ошибка, которая резко повышает долю ложных побед.

Что означает p-значение 0,03?

Что при одинаковых вариантах такую или большую разницу мы увидели бы в трёх случаях из ста. Это не вероятность того, что вариант B лучше, — распространённое и вредное заблуждение.

Почему тест не показывает значимости?

Чаще всего мало данных. Отсутствие значимости не означает отсутствия разницы — оно означает, что на этой выборке разницу не разглядеть. Посчитайте нужный размер выборки заранее.

Сколько вариантов можно тестировать сразу?

Два. При трёх и более растёт вероятность случайно найти победителя, и нужна поправка на множественные сравнения. Проще и надёжнее тестировать парами.

Мини-пример расчёта

Две недели теста

Входные данные: A: 150 из 5000, B: 190 из 5000

Результат: 3% против 3,8%, прирост 26,67%, p = 0,0345 — различие значимо

Комментарий: При тех же процентах, но выборке впятеро меньше, p-значение было бы около 0,3 и вывод оказался бы противоположным. Размер выборки решает не меньше, чем сама разница.

Полезные переходы

Все инструменты раздела Маркетинг

Значимость A/B-теста

Результат

Связанные инструменты

Размер выборки для A/B-теста

Калькулятор конверсии

Калькулятор p-значения

Полезные переходы