Калькулятор A/B теста онлайн

Как рассчитать A/B тест

Калькулятор A/B теста определяет, является ли разница в конверсиях между двумя вариантами статистически значимой. Используется Z-тест для пропорций. Результат показывает уровень достоверности (confidence level): 95%+ считается статистически значимым результатом в большинстве случаев.

Когда результат достоверен

Стандартный порог — 95% (p-value < 0,05). Для финансовых решений рекомендуется 99% (p < 0,01). Если результат ниже 95%, разница может быть случайной — нужно больше данных. Не останавливайте тест раньше достижения нужного объёма выборки, даже если промежуточные результаты выглядят убедительно.

Типичные ошибки A/B тестирования

Остановка теста при первом «значимом» результате (peeking problem). Тестирование слишком многих вариантов одновременно. Слишком маленькая выборка. Игнорирование сегментации (результат может различаться для разных аудиторий). Тестирование в разные периоды (сезонность). Изменение теста в процессе.