InPage vs Push: эксперимент на 99 запусках

Вводная информация для новичков: Классические пуши — это уведомления, которые отображаются пользователям после подписки. На десктопах они всплывают, когда открыт браузер, на Андроидах — даже при закрытом браузере. Устройства iOS классические пуши не поддерживают. В зависимости от возраста подписки и площадки в этом формате пользователи делятся по свежести/качеству. Считается, что новые подписчики приносят больше конверсий.

InPage-Push не требуют подписки, отображаются в окне браузера при посещении сайта паблишера. Они работают на всех устройствах, в том числе и на iOS. Свежесть для InPage рассчитывается в зависимости от частоты просмотров рекламы. Чем чаще пользователь видел InPage-Push-уведомления, тем менее качественным он считается.

Далее предлагаем познакомиться с переводом статьи с бурж-форума STM. Автор под никнеймом Twinaxe сравнил эффективность классических пушей с InPage-Push и поделился результатами.

Цели исследования

Работая с Push-трафиком, мы выполняем много монотонных действий и не все из них приносят ожидаемый результат. Я подумал, что было бы неплохо выяснить, какая настройка рекламных кампаний приносит больший результат, как улучшить текущие настройки Push и InPage, и получить максимальную отдачу.

В ходе тестов я хотел:

• выявить разницу по производительности;
• сравнить зависимость итоговых показателей от уровня свежести пользователей;
• определить оптимальную комбинацию для тестирования и для масштабирования.

Очевидно, что новые подписчики конвертят лучше, чем старые, но я хотел получить реальные цифры из прямого теста. Время — это ограниченный ресурс, и важно иногда проводить небольшие исследования, помогающие усовершенствовать рабочие процессы.

Исследование дало мне понимание, на чем сосредоточиться при настройке кампаний, чтобы понять, как получить высокие показатели, в каких случаях легче масштабироваться и что нужно, чтобы потратить меньше времени и денег.

Подход к кампаниям до начала тестирования

Обычно, когда тестирую кампании для Push и InPage, я проверяю доступный объем и ставки для моего таргетинга, и, в зависимости от результатов, создаю тестовую кампанию. Когда тест показывает хороший потенциал, можно масштабироваться на других источниках.

На каждом из них я создаю кампании для Push и InPage и разделяю аудиторию по свежести пользователей, если платформа поддерживает такой функционал. Этот подход основан на предположении, что трафик Push и InPage не сильно отличаются по качеству.

Если тестовая кампания льется в плюс, после масштабирования связки остаются прибыльными, поэтому можно наращивать объемы за счет пользователей с меньшей свежестью. При таком подходе одна прибыльная тестовая кампания может легко вырасти до 50.

Не все запуски проходят успешно. Бывает и такое, что тестовый запуск показывает хорошие показатели, но после масштабирования ROI сильно падает. Когда рука набита на запуск большого количества кампаний, потери от убыточных быстро компенсируются выигрышными.

Параметры сетапа

В ходе тестов:

• использовались как новые офферы, так и те, что уже показали хорошие результаты;
• трафик закупался из 8 различных источников;
• в группах кампаний с таргетингом на свежесть пользователей использовали 3 различных уровня;
• было создано 99 тестовых кампаний в течение 8 дней.

Из этих 99 только 57 оказались достаточно релевантными для конечного результата. Остальные кампании получили недостаточный объем трафика, но некоторые из них будут включены в результаты для наглядности.

Общая статистика для 99 тестовых кампаний:

• кликов: 491092;
• конверсий: 7392;
• доход: $3667,69;
• расход: $3433,69;
• профит: $233,60.

Статистика для 57 финальных кампаний:

• кликов: 448892;
• конверсий: 6976;
• доход: $3437,63;
• расход: $3049,36;
• профит: $388,24.

Цифры ниже будут немного отличаться из-за особенностей трекера при работе с общей статистикой и статистикой при работе с отдельными группами. Ограничения бюджетов не устанавливал, потому что объем между Push и InPage, а также объем между различными уровнями свежести сильно отличается.

Я использовал одну воронку и один источник трафика для каждой тестовой группы, одну кампанию для каждого формата объявлений/комбинации свежести пользователей, а для уровней свежести/активности (Freshness) использовались числа 1-3, где 1 – самая свежая/высокая активность, а 3 – самая старая/низкая активность.

Тесты не относятся к конкретной платформе, поэтому источники не прилагаются. Различные ставки за формат объявления/комбинацию свежести также не рассматривались, чтобы не выходить за рамки темы.

Результаты

Воронка 1:

• Push Freshness 1: 610 кликов, 14 конверсий, 2,30% CR;
• Push Freshness 2: 377 кликов, 2 конверсии, 0,53% CR;
• Push Freshness 3: 320 кликов, 0 конверсий, 0,00% CR;
• InPage Freshness 1: 731 клик, 10 конверсий, 1,37% CR;
• InPage Freshness 2: 54 клика, 0 конверсий, 0,00% CR;
• InPage Freshness 3: 621 клик, 0 конверсий, 0,00% CR.

Результат теста на свежесть: свежие пользователи конвертят лучше в обоих форматах.

Производительность: Push работает лучше, чем InPage.

Объем: недостаточная разница для получения значимых результатов.

Воронка 2:

• Push Freshness 1: 2646 кликов, 71 конверсия, 2,68% CR;
• Push Freshness 2: 2977 кликов, 23 конверсии, 0,77% CR;
• Push Freshness 3: 2482 клика, 31 конверсия, 1,25% CR;
• InPage Freshness 1: 1436 кликов, 23 конверсии, 1,60% CR;
• InPage Freshness 2: 1145 кликов, 8 конверсий, 0,70% CR;
• InPage Freshness 3: 1460 кликов, 7 конверсий, 0,48% CR.

Результат теста на свежесть: свежие пользователи конвертят лучше в обоих форматах.

Производительность: Push работает лучше, чем InPage.

Объем: все уровни свежести Push имеют больший объем, чем их аналоги на InPage.

Воронка 3:

• Push Freshness 1: 52791 кликов, 2444 конверсий, 4,63% CR;
• Push Freshness 2: 69114 кликов, 1392 конверсии, 2,01% CR;
• Push Freshness 3: 7044 кликов, 106 конверсий, 1,50% CR;
• InPage Freshness 1: 1014 кликов, 11 конверсий, 1,08% CR;
• InPage Freshness 2: 4202 клика, 52 конверсии, 1,24% CR;
• InPage Freshness 3: 3639 кликов, 19 конверсий, 0,52% CR.

Тест на свежесть: свежие пользователи лучше конвертят на Push.

Производительность: Push работает лучше, чем InPage.

Объем: на всех уровнях свежести гораздо больше объема на Push.

Воронка 4:

• Push Freshness 1: 2747 кликов, 24 конверсии, 0,87% CR;
• Push Freshness 2: 3697 кликов, 30 конверсий, 0,81% CR;
• Push Freshness 3: 2579 кликов, 7 конверсий, 0,27% CR;
• InPage Freshness 1: 15842 кликов, 276 конверсий, 1,74% CR;
• InPage Freshness 2: 7463 кликов, 24 конверсии, 0,32% CR;
• InPage Freshness 3: 12718 кликов, 26 конверсий, 0,20% CR.

Тест на свежесть: свежие пользователи лучше конвертят на InPage.

Производительность: Freshness 2 и 3 лучше на Push, Freshness 1 лучше на InPage.

Объем: на всех уровнях свежести InPage превзошел по объему классические пуши.

Воронка 5:

• Свежесть Push 1: 3638 кликов, 27 конверсий, 0,74% CR;
• Свежесть Push 2: 5984 кликов, 27 конверсий, 0,45% CR;
• Push Freshness 3: 3946 кликов, 7 конверсий, 0,18% CR;
• InPage Freshness 1: 3196 кликов, 27 конверсий, 0,84% CR;
• InPage Freshness 2: 1072 клика, 4 конверсии, 0,37% CR;
• InPage Freshness 3: 2894 кликов, 3 конверсии, 0,10% CR.

Результат теста на свежесть: свежие пользователи конвертят лучше в обоих форматах.

Производительность: смешанные результаты, но разница небольшая.

Объем: все уровни свежести Push выиграли по объему трафика.

Корректируем настройки

Здесь я создал только 1 кампанию для Push и 1 кампанию для InPage, где нацелился на все 3 уровня свежести пользователей вместе. Это были кампании CPA Goal/Smart CPA, поэтому алгоритм сам решал, куда какой объем направить. Таргетинг, воронка и ставка были абсолютно одинаковыми в обеих кампаниях.

Воронка 6

Общая статистика:

• Push Freshness 1-3: 51896 кликов, 1083 конверсии, 2,09% CR;
• InPage Freshness 1-3: 10400 кликов, 132 конверсии, 1,27% CR.

Статистика по уровню свежести:

• Push Freshness 1: 13277 кликов, 454 конверсии, 3,42% CR;
• Push Freshness 2: 34624 кликов, 565 конверсий, 1,63% CR;
• Push Freshness 3: 3995 кликов, 64 конверсии, 1,60% CR;
• InPage Freshness 1: 282 клика, 5 конверсий, 1,77% CR;
• InPage Freshness 2: 346 кликов, 10 конверсий, 2,89% CR;
• InPage Freshness 3: 9772 кликов, 117 конверсий, 1,20% CR.

Результат теста на свежесть: свежие пользователи лучше конвертят на классических пушах, пользователи с наименьшей свежестью — на InPage.

Производительность: Push лидирует.

Объем: на первых двух уровнях свежести с Push больше объема.

Воронка 7

Общая статистика:

• Push Freshness 1-3: 3334 кликов, 19 конверсий, 0,57% CR;
• InPage Freshness 1-3: 12956 кликов, 22 конверсии, 0,17% CR.

Статистика по уровню свежести:

• Push Freshness 1: 690 кликов, 9 конверсий, 1,30% CR;
• Push Freshness 2: 1851 кликов, 10 конверсий, 0,54% CR;
• Push Freshness 3: 791 клик, 0 конверсий, 0,00% CR;
• InPage Freshness 1: 1783 кликов, 7 конверсий, 0,39% CR;
• InPage Freshness 2: 1813 кликов, 7 конверсий, 0,39% CR;
• InPage Freshness 3: 9359 кликов, 8 конверсий, 0,09% CR.

Результат теста на свежесть: свежие пользователи лучше конвертят на Push.

Производительность: Push работает лучше.

Объем: в целом, объема на Push меньше, но CR выше.

Воронка 8

Общая статистика:

• Push Freshness 1-3: 5011 кликов, 108 конверсий, 2,16% CR;
• InPage Freshness 1-3: 1260 кликов, 8 конверсий, 0,63% CR.

Статистика по уровню свежести:

• Push Freshness 1: 2833 клика, 66 конверсий, 2,33% CR;
• Push Freshness 2: 2058 кликов, 40 конверсий, 1,94% CR;
• Push Freshness 3: 119 кликов, 2 конверсии, 1,68% CR;
• InPage Freshness 1: 449 кликов, 7 конверсий, 1,56% CR;
• InPage Freshness 2: 54 клика, 0 конверсий, 0,00% CR;
• InPage Freshness 3: 757 кликов, 1 конверсия, 0,13% CR.

Результат теста на свежесть: свежие пользователи конвертят лучше.

Производительность и объем трафика: Push эффективнее.

Воронка 9

Общая статистика:

• Push Freshness 1-3: 2836 кликов, 35 конверсий, 1,23% CR;
• InPage Freshness 1-3: 892 клика, 1 конверсия, 0,11% CR.

Статистика по уровню свежести:

• Push Freshness 1: 354 клика, 7 конверсий, 1,98% CR;
• Push Freshness 2: 2258 кликов, 24 конверсии, 1,06% CR;
• Push Freshness 3: 224 клика, 4 конверсии, 1,79% CR;
• InPage Freshness 1: 2 клика, 0 конверсий, 0,00% CR;
• InPage Freshness 2: 2 клика, 0 конверсий, 0,00% CR;
• InPage Freshness 3: 888 кликов, 1 конверсия, 0,11% CR.

Результат теста на свежесть: свежие пользователи лучше конвертят на Push.

Производительность: Push работает лучше, чем InPage.

Объем: на Push больше.

Воронка 10

Общая статистика:

• Push Freshness 1-3: 475 кликов, 6 конверсий, 1,26% CR;
• InPage Freshness 1-3: 80 кликов, 1 конверсия, 1,25% CR.

Статистика по уровню свежести:

• Push Freshness 1: 61 клик, 1 конверсия, 1,64% CR;
• Push Freshness 2: 383 клика, 3 конверсии, 0,79% CR;
• Push Freshness 3: 31 клик, 2 конверсии, 6,45% CR;
• InPage Freshness 1: 9 кликов, 0 конверсий, 0,00% CR;
• InPage Freshness 2: 5 кликов, 0 конверсий, 0,00% CR;
• InPage Freshness 3: 66 кликов, 1 конверсия, 1,52% CR.

Результат теста на свежесть: Свежие пользователи лучше конвертят на Push.

Производительность: Push работает лучше, чем InPage.

Объем: на Push больше.

Push vs InPage без сплит-теста на свежесть

В этих кампаниях я просто хотел сравнить Push vs InPage в целом, поэтому я не нацеливался на разные уровни свежести пользователей.

Воронка 11:

• Push: 875 кликов, 6 конверсий, 0,69% CR;
• InPage: 679 кликов, 0 конверсий, 0,00% CR.

Производительность: Push работает лучше, чем InPage.

Объем: на Push больше.

Воронка 12:

• Push: 2295 кликов, 39 конверсий, 1,70% CR;
• InPage: 8607 кликов, 2 конверсии, 0,02% CR.

Производительность: Push работает лучше, чем InPage.

Объем: объем на InPage выше.

Воронка 13:

• Push: 534 клика, 4 конверсии, 0,75% CR;
• InPage: 481 клик, 0 конверсий, 0,00% CR.

Производительность: Push работает лучше, чем InPage.

Объем: больше на Push.

Воронка 14:

• Push: 16225 кликов, 49 конверсий, 0,30% CR;
• InPage: 25925 кликов, 34 конверсии, 0,13% CR.

Производительность: Push работает лучше, чем InPage.

Объем: на InPage больше.

Воронка 15:

• Push: 15488 кликов, 220 конверсий, 1,42% CR;
• InPage: 55679 кликов, 420 конверсий, 0,75% CR.

Производительность: Push работает лучше, чем InPage.

Объем: на InPage больше.

Воронка 16

• Push: 1512 кликов, 38 конверсий, 2,51% CR;
• InPage: 737 кликов, 1 конверсия, 0,14% CR.

Производительность: Push работает лучше, чем InPage.

Объем: на Push больше.

Воронка 17:

• Push: 2860 кликов, 29 конверсий, 1,01% CR;
• InPage: 3099 кликов, 14 конверсий, 0,45% CR.

Производительность: Push работает лучше, чем InPage.

Объем: на InPage больше.

Воронка 18:

• Push: 5726 кликов, 87 конверсий, 1,52% CR;
• InPage: 2368 кликов, 17 конверсий, 0,72% CR.

Производительность: Push работает лучше, чем InPage.

Объем: на Push больше.

Заключение

Тесты не были проведены с научной точностью, но общие закономерности сразу бросаются в глаза. Можно заметить, что Push работает лучше, чем InPage, и что свежие пользователи конвертят лучше, чем старые подписчики.

Общие результаты исследования:

• Push превзошел трафик InPage в 17 из 18 тестовых групп, InPage показал лучшие результаты только в одной тестовой группе. В одной выборке не было явного победителя;
• самые свежие пользователи показали лучшие результаты в 16 из 18 тестовых групп. В одной группе не было явного победителя;
• Push имел больший объем в 12 тестовых группах против 6 групп для трафика InPage.

Исходя из этой статистики, можно сказать, что целесообразнее сосредоточиться на Push-трафике с лучшими показателями свежести/активности.

Для меня преимуществом InPage-трафика всегда было то, что он дешевле, чем Push-трафик, и что объем выше. По 2/3 тестовых кампаний видно, что с пушей идет больший объем трафика, поэтому вместо того, чтобы сразу переходить на InPage, я буду тестировать больше кампаний на классических пушах.