Как не испортить A/B-тест в Яндекс Директе: 5 правил для сезонных ниш
Разберём, почему один и тот же тест даёт разные результаты в разные периоды, какие ошибки приводят к неверной интерпретации данных и как учитывать время при работе с новыми и уже проведёнными тестами
Представьте: вы провели безупречный A/B-тест, получили статистически значимый прирост конверсии на 20%, внедрили победивший вариант в рекламную кампанию — и через месяц результаты не просто не подтвердились, а стали хуже, чем были. Бывало?
Скорее всего, вы столкнулись с эффектом, который редко обсуждают в статьях о методологии A/B-тестирования, но который может послужить причиной череды ошибок. Это временной контекст — и прежде всего сезонность.
Когда мы говорим о сезонности в контексте A/B-тестов, речь идёт не только о смене времён года. Временной контекст гораздо глубже:
- Годовые циклы: спрос на определённые товары и услуги кардинально меняется в зависимости от месяца. Как справедливо отмечают эксперты, «реклама зимних шин в мае вряд ли даст хорошие результаты».
- Праздничные периоды: новогодние каникулы, 8 Марта, 23 Февраля, «чёрная пятница» — в эти периоды поведение пользователей меняется настолько, что результаты теста становятся несопоставимы с «обычными» днями.
- Дни недели и время суток: как показывает практика, «по одной и той же кампании при одинаковом количестве кликов с 14 до 15 часов конверсия маленькая, а с 15 до 16 она взлетает». То же самое происходит и в разные дни недели.
- Специфические даты: например, 1 сентября.
Вывод прост: вариант объявления, выигравший в июне, может проиграть в декабре не потому, что он плохой, а потому что изменился контекст восприятия.
Разберём, почему один и тот же тест даёт разные результаты в разные периоды, какие ошибки приводят к неверной интерпретации данных и как учитывать время при работе с новыми и уже проведёнными тестами.
Почему один и тот же A/B-тест даёт разные результаты в разные периоды
Аналитики называют A/B-тестирование своим любимым методом исследований именно потому, что оно позволяет минимизировать влияние внешних факторов. В идеальном мире мы делим аудиторию на две группы случайным образом, и любая сезонность, новостной фон или происшествия влияют одинаково на каждую группу. Всё так.
Проблема начинается там, где мы пытаемся экстраполировать результаты теста, проведённого в одном временном отрезке, на весь год.
Аудитория приходит с разными задачами. Когда один из вариантов теста показывает лучший результат, легко сделать простой вывод: эта версия работает лучше, её и оставляем. Но за результатом теста всегда стоит конкретная аудитория, которая пришла в конкретный период и решала конкретную задачу.
Сезонность меняет мотивацию клиента, а не только объём спроса. Причём значимым может быть не только сезон года. Влиять на поведение способны праздники, бюджетные циклы, конец или начало квартала, отдельные месяцы, недели, дни недели, часы и конкретные даты.
Поэтому временной контекст нужно рассматривать шире календарных сезонов. Важен любой повторяющийся фактор, который способен изменить задачу или поведение аудитории.
Результат теста зависит от условий, в которых его получили. A/B-тест отвечает на вопрос о том, как варианты показали себя в конкретных условиях эксперимента. Он не даёт автоматического ответа на вопрос, будут ли эти условия такими же через несколько месяцев.
Поэтому вместе с результатом стоит сохранять его контекст: когда проходил тест, какая задача была у аудитории и какие обстоятельства могли влиять на её решение.
Если результат позже изменился, это ещё не доказывает, что прошлый тест был неправильным. Сначала нужно понять, изменился ли сам контекст, в котором аудитория принимает решение.
Какие ошибки заставляют принять сезонный результат за постоянный
Считать статистическую значимость окончательной истиной. Она показывает, насколько полученный результат согласуется с условиями проведённого эксперимента. Но она не превращает этот результат в универсальное правило, которое автоматически будет работать в любой период года.
Если ваш тест шёл две недели в ноябре, вы получили данные о поведении пользователей в ноябре. В январе эти данные могут не работать. И это не ошибка теста — это ограничение его применимости.
Считать, что одного теста достаточно для окончательного вывода. Некоторые маркетологи считают, что проведенный A/B-тест — это финальная проверка, после которой можно успокоиться. На самом деле это только этап в цикле постоянного тестирования. Рекомендуется проводить несколько последовательных этапов. Иными словами, это не разовое мероприятие, а часть системы.
Останавливать тест слишком рано. Ещё одна ошибка — считать, что получения первых данных достаточно, чтобы остановить эксперимент и сделать вывод. В идеале желательно получить не менее 200 конверсий в месяц на тестируемую кампанию для каких-либо надёжных выводов. А если ваш тест попал на сезонный пик? Эффект может быть завышен. Если на спад — занижен. И то и другое — ошибка.
Как разделение A/B-тестов по сезонам снизило CPL на 25%
Кейс из практики нашей команды. Клиент — компания, которая продаёт корпоративное обучение для HR-отделов. В декабре они провели A/B-тест посадочных страниц и победил вариант «Обучим команду за 2 недели». Внедрили — но в апреле конверсия упала.
Мы предложили начать диагностику не с креативов и лендингов, а с анализа специфики бизнеса. Декабрь — конец года, бюджеты «сгорают», HR-директора спешат потратить деньги. Их триггер — скорость. Апрель — новый бюджет, HR-директора уже не торопятся. Их интерес — качество программы и влияние на KPI.
Мы всегда задаём клиенту вопрос: «Как меняются задачи вашей аудитории в течение года?» Если ответа нет — мы поднимаем аналитику Метрики и CRM в разрезе месяцев. Смотрим, какие ключевые слова конвертируют в разные сезоны, какие страницы просматривают, сколько времени проводят на сайте.
На основе этой диагностики мы предложили клиенту разделить тесты на два сезона: «бюджетный» (ноябрь-декабрь) и «стратегический» (февраль-апрель). Для каждого — своя гипотеза, свой креатив, свой лендинг. Результат: CPL снизился на 25%, конверсия выросла на 40% в межсезонье.
Этот кейс не говорит о том, что декабрьский вариант был плохим. Он показывает, что один и тот же оффер может по-разному работать в разных сценариях принятия решения.
5 принципов сезонно-устойчивого A/B-тестирования
Если бизнес зависит от времени, сезонность лучше закладывать в эксперимент ещё до его запуска.
Определите, какие периоды отличаются по задачам аудитории. Ответьте на вопрос: «Как меняются задачи и мотивация наших клиентов в течение года?
Если ответ понятен из практики, его можно использовать при формировании гипотезы. Если чёткого ответа нет, не стоит заменять его предположением — различия можно проверить по данным.
Причём смотреть нужно шире календарных сезонов. Для бизнеса значимыми могут оказаться отдельные месяцы, недели, дни, часы, праздники, бюджетные циклы или конкретные даты.
Проверьте изменение поведения с помощью инструментов аналитики. Для такой проверки можно использовать, например, Яндекс Метрику и CRM: сравнить данные по месяцам, а при необходимости — по неделям, дням, часам и праздничным периодам.
Смотрим не только на итоговую конверсию, но и на поведение пользователей: какие ключевые слова конвертируют в разные периоды, какие страницы просматривают и сколько времени проводят на сайте.
Так можно увидеть разницу, которая теряется в общей цифре, и понять, действительно ли изменение результата связано с переменой в поведении аудитории.
Выберите нейтральный период, если нужен усреднённый результат. Если задача — получить результат, максимально близкий к обычному поведению аудитории без выраженного сезонного перекоса, для теста можно выбрать нейтральный период, если бизнес позволяет это сделать.
Но универсального «лучшего» времени для тестирования нет. Если сам бизнес сезонный и задача аудитории существенно меняется, логичнее тестировать внутри соответствующего сезона и затем перепроверять результат в другом периоде.
Разделяйте тестирование по сезонам, если задачи действительно различаются. Если данные и специфика бизнеса показывают, что аудитория по-разному принимает решения в разные периоды, тесты можно разделить по этим периодам.
В нашем кейсе мы выделили «бюджетный» сезон — ноябрь–декабрь и «стратегический» — февраль–апрель. Для каждого сформировали собственную гипотезу, креатив и посадочную страницу.
При этом не нужно делить тесты только потому, что на календаре сменился месяц. Основанием должна быть реальная разница в задачах и поведении аудитории.
Повторяйте ключевые тесты в другом периоде. Если результат важен для бизнеса, его стоит перепроверить вне исходного контекста. Это помогает отделить устойчивое преимущество от сезонной особенности. Такой повтор особенно полезен, если решение планируют использовать долго или сразу распространить на другие периоды года.
Что делать с уже проведёнными A/B-тестами
Тут ситуация другая: эксперимент закончился, вы уже внедрили результаты A/B-теста и видите, что эффекта нет. В этом случае не стоит сразу отказываться от старого вывода и начинать новый тест с нуля. Возможно, вы столкнулись не с ошибкой в тесте, а с сезонным сдвигом.
Проанализируйте условия старого теста. Проверьте, когда он проводился, какую задачу решала аудитория и какие обстоятельства могли влиять на её решение. Это помогает понять, что именно подтвердил старый тест и насколько широко можно использовать его результат. Например, если это был пиковый сезон — результаты могут не работать в межсезонье.
Запустите репликацию теста — повторите его в текущих условиях. Это даст понимание, работает ли ваше решение сейчас.
Выделите сезонную закономерность в отдельные кампании. Даже если вариант хорошо работает только в одном сезоне, это всё равно полезный результат. Он может стать частью сезонной стратегии — рассмотрите возможность создания сезонных версий объявлений и посадочных страниц.
Если преимущество сохраняется в разных периодах и при разных задачах аудитории, появляется больше оснований считать его устойчивым. Если результат заметно меняется вместе с сезоном, его правильнее воспринимать как сезонную закономерность и учитывать это при следующих тестах.
Подводя итоги, можно сделать вывод, что A/B-тест нельзя проводить, игнорируя специфику бизнеса и сезонные факторы. Он показывает, как аудитория отреагировала на рекламу в конкретных условиях, а эти условия могут меняться в течение года.
Поэтому снижение результата через несколько месяцев ещё не означает, что прошлый тест был ошибочным. Сначала нужно восстановить контекст, сравнить периоды и понять, что именно изменилось: реклама, задача аудитории или условия принятия решения.
Если у вас уже есть тесты, результаты которых перестали подтверждаться со временем, не спешите с выводами. Сначала разберите контекст старого результата, сравните данные по периодам и определите, что в нём действительно устойчиво.Если связать сезонность и результаты A/B-теста самостоятельно сложно, этот анализ можно вынести на пресейл и вместе определить, какие выводы из прошлых тестов стоит сохранить, а какие проверить заново.
Не знаете, с чего начать? Напишите в наш чат-бот — мы ответим на все вопросы и обсудим вашу задачу.
Комментарии