Как провести A/B-тест при небольшом количестве заявок

При малом количестве заявок один дополнительный клиент заметно меняет конверсию. A/B-тест полезен, если доступный поток позволяет различить практически важное изменение. Иначе он может дать красивый процент без убедительного ответа.

Сначала устраните подтверждённые дефекты

Сломанная отправка формы не требует эксперимента, чтобы оправдать исправление. Для теста выберите спорное решение с понятным механизмом: например, меняет ли образец результата готовность запросить консультацию. Определите основную метрику и защитные показатели качества, чтобы рост отправок не скрыл ухудшение обращений.

Оцените достижимую точность

Задайте исходную конверсию, минимальное полезное изменение, уровень ошибки и мощность. По ним рассчитывается требуемая выборка. Варианты должны получать сопоставимую аудиторию со стабильным распределением. Планируйте полный цикл поведения, учитывая недели и задержку продаж.

Соблюдайте заранее выбранное правило решения

Не останавливайте обычный тест при первом привлекательном результате. Если используете последовательный анализ, его метод и правила задаются заранее. При нехватке данных результатом может быть неопределённость. Для следующего шага полезны интервью, наблюдение за прохождением формы и проверка более существенного различия вариантов.

Как действовать, когда данных мало

При небольшом количестве обращений сначала найдите явные препятствия: неработающую отправку, непонятное предложение или несоответствие ожиданий. Проверяйте путь вручную и разговаривайте с подходящими клиентами. Такая работа может дать обоснованное изменение, хотя её результат нельзя представлять как статистически доказанный прирост конверсии.

Если запускаете эксперимент, заранее оцените необходимый объём данных и срок его набора для интересующего эффекта. Не выбирайте обещание огромного улучшения только ради короткого теста. При невозможности получить достаточную выборку обозначьте неопределённость и принимайте ограниченное, обратимое решение с дальнейшим наблюдением.

Пример разбора

Учебные варианты получили по 100 визитов: А дал 2 заявки, Б — 4. Относительный рост выглядит как 100%, но абсолютная разница — две заявки. Без оценки неопределённости объявлять победителя нельзя. Тем более нельзя одновременно изменить источник трафика и приписать результат странице.

Ошибки и ограничения

Много вариантов и постоянное подглядывание повышают риск ложного вывода при неподходящем методе анализа. Небольшое число оплат не заменяйте удобным событием без проверки его связи с продажами.

Что проверить после изменений

• Проверено случайное и стабильное распределение.
• Правила анализа определены заранее.
• Неопределённый результат так и обозначен.

Связь размера выборки, вариативности и мощности разобрана в руководстве исследователей по контролируемым экспериментам.

Для связи этой задачи с общей системой работы используйте вводное руководство. Если нужен разбор данных вашей компании, посмотрите подходящий формат работы UpWize.

Следующий шаг

Разберём вашу ситуацию на цифрах

Покажем, где находится главное ограничение и какие решения стоит проверить в первую очередь.

Получить разбор →