Как сравнивать рекламные креативы по качеству обращений

Объявление с большим числом кликов может привлекать людей, которым не подходит услуга. Сравнение креативов полезно строить вокруг конкретного сообщения и продолжать до доступного бизнес-результата. При этом важно отделять эффект текста или изображения от различий в аудитории, размещении и предложении.

Сформулируйте различие словами

До запуска запишите, какую гипотезу проверяет вариант. Например, одно сообщение объясняет результат диагностики, другое — процесс её проведения. Если одновременно меняются обещание, аудитория, цена и страница, определить причину различия будет сложно. Для каждого варианта сохраните изображение, текст, дату и ссылку. Названия вроде «новое 7» не помогают команде понять, что именно уже было проверено.

Сведите условия сравнения

Проверьте, что варианты относятся к сопоставимой аудитории, периоду, устройствам и доступности услуги. Рекламная система может распределять показы неравномерно, поэтому одинаковый общий бюджет не означает одинаковые условия эксперимента. Если управляемого распределения нет, называйте результат наблюдением, а не доказанным эффектом креатива. Отдельно отмечайте изменения посадочной страницы и обработки обращений во время проверки.

Проследите обещание до разговора

Смотрите на клики, отправки и квалификацию как на разные этапы. Передайте продажам код варианта и попросите записывать причины несоответствия: ожидание бесплатной работы, неверная география, неподходящий объём. Несколько разговоров помогут обнаружить неправильное обещание даже до накопления данных для сравнения продаж. При этом отдельный яркий отзыв не должен заменять полный список обращений и их состояний.

Решайте, что повторить в следующем варианте

Вместо выбора универсального «победителя» выделите подтверждённый элемент: понятное описание услуги, релевантный пример, точное ограничение. Слабый вариант может подсказать, какое ожидание стоит убрать. Заранее определите минимальный период наблюдения и условия остановки при технической ошибке или явно неподходящих обращениях. Ограничения небольших выборок подробно разобраны в материале о A/B-тестах.

Пример разбора

Учебный пример: два варианта получили по 200 переходов. Первый дал 20 обращений и четыре подходящих проекта, второй — 12 обращений и шесть подходящих проектов. Конверсия в обращение выше у первого, но доля подходящих проектов среди переходов составляет 2% против 3%. Команда замечает, что первое обещание воспринимают как бесплатное внедрение. На таком объёме она уточняет формулировку и продолжает проверку, не объявляя второй вариант безусловным победителем.

Ошибки и ограничения

Сравнивать варианты по продажам рано, если значительная часть проектов ещё открыта. Не улучшайте кликабельность обещанием, которое компания не может выполнить. Рост числа обращений за счёт ошибочных ожиданий увеличивает нагрузку и искажает оценку рекламы.

Что проверить после изменений

• Для каждого варианта сохранена проверяемая гипотеза.
• Различия в аудитории и распределении показов отражены в выводах.
• Оценка учитывает качество обращений и незавершённые проекты.

Для связи этой задачи с общей системой работы используйте вводное руководство. Если нужен разбор данных вашей компании, посмотрите подходящий формат работы UpWize.

Следующий шаг

Разберём вашу ситуацию на цифрах

Покажем, где находится главное ограничение и какие решения стоит проверить в первую очередь.

Получить разбор →