A/B-тестирование

На этой странице вы узнаете, как постоянно улучшать конверсию вашего сайта.

Этот процесс называется A/B-тестированием. Это эксперименты, позволяющие оценить улучшение показателей конверсии (например, скорости регистрации, скорости оформления заказа) от внесенных на сайт изменений.

Например, вы можете переписать шапку вашей целевой страницы. Или заменить все свои фотографии иллюстрациями. Или вдвое сократить длину вашей страницы.

Это называется вариантами. («В» в термине «А/В»).

Вы тестируете варианты по отношению к исходнику, который представляет собой просто вашу домашнюю страницу до внесения каких-либо изменений. (Ваш исходник — это «А» в термине «А/В».)

Для управления всей этой логикой существуют бесплатные инструменты. Ваша единственная задача — выяснить, что стоит протестировать, и создать необходимый материал для целевой страницы.

A/B — это не роскошь для маркетологов, у которых есть свободное время; это — основа для взлома роста. Это единственный способ улучшить конверсию научными методами.

Вот как маркетологам следует скорректировать свой подход: Не тратьте время, делая первую итерацию страницы на 10/10. Начните с 8/10, а затем A/B-тестируйте ее до совершенства.

Потому что у вас никогда не получится идеальная страница с первого раза. Неразумно пытаться.

Вместо этого, запланируйте проведение A/B тестов, чтобы определить, что лучше. Если у Вас сформирована правильная A/B система, это самый быстрый и дешевый способ увеличить прибыль. В отличие от рекламы, A/B тесты ничего не стоят и часто увеличивают конверсию на 50−300%.

Я вижу улучшения почти у всех моих клиентов. Работа занимает всего несколько дней. Да, после этого возвращаться к A/B тестированию нужно меньше. Но именно это первоначальное улучшение стимулирует или блокирует рост прибыли от платного привлечения.

Очень часто оно стимулирует или блокирует рост.

Мы рассмотрим:

Вот цикл тестирования, который мы рассмотрим:

Идеи для тестирования можно найти в таких местах:

Прежде чем углубиться в то, что нужно проверить, выясним, зачем мы это делаем.

Подумайте об этом: Если вы обнаружили, что A/B вариант мотивирует посетителей нажимать на кнопку в 10 раз чаще, но это на самом деле не приводит к увеличению количества подписок или покупок, то ваш вариант на самом деле не лучше оригинала. Все, что он делает, это заставляет пользователей больше нажимать на кнопку.

A/B вариант лучше только тогда, когда он увеличивает вашу прибыль. Больший доход лучше, чем больше подписок.

Нетрудно проверить вариант, который A) уменьшает число подписок за счет отсеивания посетителей, которые в конечном итоге не собирались платить, в то время как это B) одновременно увеличивает доход за счет лучшего стимулирования потенциальных покупателей, которые готовы были заплатить.

Таким образом, если вы отслеживаете только регистрацию как показатель успеха, вы упустите эту потенциальную победу. (К счастью, такой инструмент A/B, как Google Optimize, отслеживает несколько показателей).

Короче говоря, при оценке результатов A/B-теста учитывайте конверсию в конце воронки.

При этом, в основном, вы будете тестировать ранние этапы воронки. По двум причинам:

Существует два типа вариантов для A/B тестирования. Я называю их микро- и макро-вариантами.

Микроварианты — это настройка текста страницы, креативов и макета. Это небольшие, быстрые изменения. И, к сожалению, они вряд ли окажут огромное влияние.

Макроварианты, с другой стороны, — это значительное переосмысление вашей страницы. Приоритет отдается макро, а не микро-тестам.

Потому что изменение цвета кнопки (микровариант) не может повлиять на конверсию более чем на 2−5%. Но реструктуризация всей страницы (макровариант) может увеличить ее на 50−300%, если ваша исходная страница не была протестирована ранее.

Вдвойне важно сосредоточиться на больших победах, учитывая, что каждый A/B тест имеет свою цену: Есть лимит тестов, которые Вы можете провести в месяц, потому что Вы ограничены тем, сколько трафика получает Ваш сайт.

Давайте рассмотрим примеры микро- и макро-тестов.

Вот ваша зона действий для тестирования микро-вариантов.

Несмотря на то, что микроварианты не так важны, как макро, я включил их, потому что если собрать достаточно микровариантов, у вас получится макро.

Это трюк, на случай если у вас заканчиваются макро-идеи.

Когда у вас заканчиваются макро-идеи, эти микро оказывают наибольший эффект:

Макроварианты требуют значительных усилий: Сложно многократно привлечь внимание и наладить сотрудничество в масштабах всей компании, чтобы переосмыслить вашу страницу.

Но макро — это единственный способ увидеть лес сквозь деревья.

Я генерирую макро-идеи, используя пять подходов:

Чтобы проверить, какие из полученных A/B идей действительно могут вызвать резонанс у посетителей, подумайте о том, чтобы пропустить их через раздел «Поиск идей для A/B тестов», расположенный сверху.

А/В эксперимент имеет свою цену; у вас ограниченное число посетителей, на которых можно тестировать. Так что расставляйте приоритеты вдумчиво.

Используйте эти пять факторов:

Как вы можете видеть, A/B тестирование — это процесс принятия решений в масштабе всей команды. Планируйте его заранее.

A/B тестирование применимо ко всем вашим бизнес-решениям. И многим жизненным решениям.

Рассмотрим возможные четыре результата для любого решения:

По последнему пункту: если вы испытали неудачу и ничему не научились, вы потратили время впустую.

Планируйте свои большие решения таким образом, чтобы неудача научила вас чему-то новому и важному о том, как принимать лучшие решения в будущем. Таким образом — даже в крайнем случае неудачи — вы никогда по настоящему не проиграете.

На данный момент я представил два типа A/B вариантов (микро и макро), рассказал о том, как найти источник идей для каждого из них, а также о том, как определить их приоритетность.

Теперь давайте перейдем к вопросу фактического проведения этих тестов.

Я рекомендую проводить по одному эксперименту за раз.

В противном случае посетители могут одновременно пройти несколько тестов, если они меняют устройства (например, мобильные на десктопные) во время своих визитов. (Инструменты для A/B-тестирования не отслеживают пользователей.) Это делает результаты экспериментов неясными, если не бессмысленными.

Однако в рамках одного эксперимента можно иметь несколько вариантов, каждый из которых проверял бы изменение на одной и той же странице. Каждый вариант получает одинаковое количество трафика для тестирования. Google Optimize обработает всю эту логику A/B-тестирования за вас.

После того, как достаточное количество посетителей увидит эксперимент и ваш инструмент тестирования сможет убедиться в том, какой вариант лучше, вы можете закончить эксперимент, решить, хотите ли вы реализовать победивший вариант, а затем начать новый эксперимент.

Инструменты A/B тестирования проверяют ваши варианты параллельно. Это означает, что ваша оригинальная страница и ее варианты работают одновременно. (Инструмент случайным образом направляет посетителей на ту или иную страницу).

Если вместо этого вы будете вручную запускать варианты последовательно — то есть один вариант в течение 5 дней, другой — в течение 5 дней, — то не сможете контролировать различные источники трафика и дни недели. Это испортит результаты.

Поэтому используйте инструменты A/B-тестирования в том виде, в каком они должны быть: запускайте тесты только параллельно. (Это их поведение по умолчанию, ничего делать не надо).

При настройке тестов подумайте, кого следует исключить из просмотра.

Например, задумайтесь о том, чтобы показывать эксперимент только посетителям, впервые увидевшим ваш сайт. В противном случае не все придут с одинаковыми знаниями: Некоторые имеют предположения и сведения, которые влияют на то, как они отреагируют на ваш вариант.

Чтобы охватить только новых пользователей в Google Optimize, руководствуйтесь примером 1 в этой инструкции:

Вы провели свои тесты. Теперь вы должны разобраться в результатах.

Оценивая результаты, ищите четыре вещи:

Давай пройдемся по ним.

При проведении A/B тестов для улучшения конверсии, вы быстро получите снижающуюся отдачу от прироста конверсии для вашего трафика с более высоким намерением (например, органический поиск, рефералы и сарафанное радио). Потому что это те посетители, которые пришли к вам, имея определенное намерение. Все, что вам нужно — это просто подтвердить, что вы продаете то, что они хотят, и не отпугнуть их.

Напротив, для платного рекламного трафика A/B-тестирование может обеспечить большую отдачу. Это, в лучшем случае, посетители с умеренным уровнем заинтересованности — обычно это люди, которые случайно кликнули по Вашему объявлению. Они ищут оправдания, чтобы отклонить ваше ценностное предложение и уйти.

Так что именно здесь A/B-тестирование блистает: оно более эффективно для значительного улучшения конверсии трафика с низким и средним уровнем намерения — через более привлекательную страницу.

Когда я провожу A/B тесты на платном трафике, я часто могу улучшить коэффициент конверсии в 2−4 раза. Это может сделать рекламу рентабельной. Это довольно много. Однако, когда я провожу A/B тестирование с органическим трафиком, возможно, в лучшем случае я увижу улучшения в 1.5−2 раза. (Если предположить, что целевая страница была хороша в начале).

Вот вывод: Если вы проводите A/B тест только с теплым трафиком, вы можете не заметить значительного улучшения и по ошибке отклонить тест как неудачный. Когда такое случается, но вы уверены, что у варианта есть потенциал, повторите тест на платном трафике. В этом случае улучшение может быть достаточно большим, чтобы заметить его значимость.

Статистика подсказывает, что нам нужна достаточно большая выборка, чтобы уверенно определить прирост конверсии.

Математика очень проста:

Это означает, что если у вас не так много трафика, то стоимость проверки слишком велика, чтобы запускать микроварианты, которые, как правило, показывают увеличение конверсии всего в диапазоне 1−5%. Если вам нужны недели на 10 000 посещений, вы проведете эти недели в ожидании, скорее всего, не более чем крошечного изменения.

Если вместо этого запустить макро-тест, то он может привести к улучшению на 10−20%+, что намного выше порога в 6,3%. Вы сможете быстро определить победителей крупных макро-тестов.

Ниже приведен пример эксперимента, который я провел для клиента (с помощью Google Optimize):

Выше, наша страница получила 1724 просмотров в течение всего периода тестирования. По сравнению с исходным вариантом в нашем тестовом варианте было отмечено улучшение на 30% (29/22).

Кстати, эти 30%, скорее всего, неточны. Это всего лишь указание на максимальный потенциал варианта. У нас все еще не так много сеансов, чтобы с точностью подтвердить это улучшение конверсии. Но 30% достаточно хорошо, чтобы подтвердить, что мы улучшили конверсию как минимум на 6.3% (число из предыдущего примера).

Вот снова эти цифры:

Обратите внимание на колонку в Google Optimize с пометкой «Вероятность быть лучшей». Если вероятность превышает 70% и имеет достаточное количество сессий (например, 1000 и 10 000, как я уже указывал выше), то результаты статистически обоснованы, и этот вариант следует рассмотреть на предмет реализации.

Теперь необходимо решить, стоят ли трудозатраты и потенциальные внешние эффекты от внедрения 6,3% (или, возможно, гораздо большего) улучшения в конверсии.

Что, если наши результаты не будут убедительными? Что, если бы мы не превысили 70% вероятности?

Если бы эксперимент выявил только 2%-ное увеличение, например, нам пришлось бы отказаться от выборки в 1724 просмотров как слишком маленькой, чтобы 2% были статистически достоверными.

Мы либо закончили бы эксперимент и записали бы его как нейтральный результат, либо продолжали бы ожидать полных 10 000 сеансов. Если бы после 10 000 сеансов было получено 2%-ное увеличение, мы бы пришли к выводу, что оно, скорее всего, является действительным.

Но, как уже упоминалось в предыдущем разделе, если у вас небольшой трафик, возможно, не стоит рисковать ожиданием небольшого, 2%-ного изменения. Стоимость возможности высока.

Если только это увеличение на 2% не связано с целью увеличения доходов (например, покупок), а не, скажем, с подписками. (Если бы это было всего лишь 2%-ное увеличение числа подписок, я бы посоветовал отбросить это).

Дело в том, что чем ближе конверсия эксперимента привязана к доходам, тем более целесообразно терпеливо ждать небольшого прироста конверсии.

Не используйте A/B-варианты, которые выигрывают лишь слегка. (Определите «незначительный» результат по отношению к результатам, которые вас волнуют).

В краткосрочной перспективе это может показаться полезным. Но, в долгосрочной перспективе, это может привести к непредвиденным последствиям для воронки, которые может быть трудно определить в ретроспективе.

Это происходит постоянно.

Делиться — это важно.

Я использую инструмент управления задачами, такой как Trello, чтобы следить за A/B тестами, которые я выполняю и рассматриваю в будущем.

Для каждого теста, который я выполняю, я отмечаю в Trello следующее:

Когда тест завершится, я дополнительно зафиксирую:

Поддерживайте порядок в задачах Trello и обращайтесь к ним перед тем, как запустить дополнительные тесты.

Три вывода из A/B тестирования:

A/B-тестирование, это один из навыков продукт-менеджера, специалиста отвечающего за создание и развитие продукта. За каждым большим и успешным продуктом стоит продукт-менеджер, а часто и не один. Востребованность этих специалистов продолжает расти, как и предлагаемые зарплаты.

Вы можете освоить профессию продукт-менеджера на практике за 8 недель на курсе «Стань продукт-менеджером». Есть возможность бесплатного обучения по предварительному отбору.

Стартуем 4 февраля. А пода́ть анкету на бесплатное обучение можно до 26 января.