Прежде чем углубиться в то, что нужно проверить, выясним, зачем мы это делаем.
Подумайте об этом: Если вы обнаружили, что A/B вариант мотивирует посетителей нажимать на кнопку в 10 раз чаще, но это на самом деле не приводит к увеличению количества подписок или покупок, то ваш вариант на самом деле не лучше оригинала. Все, что он делает, это заставляет пользователей больше нажимать на кнопку.
A/B вариант лучше только тогда, когда он увеличивает вашу прибыль. Больший доход лучше, чем больше подписок.
Нетрудно проверить вариант, который A) уменьшает число подписок за счет отсеивания посетителей, которые в конечном итоге не собирались платить, в то время как это B) одновременно увеличивает доход за счет лучшего стимулирования потенциальных покупателей, которые готовы были заплатить.
Таким образом, если вы отслеживаете только регистрацию как показатель успеха, вы упустите эту потенциальную победу. (К счастью, такой инструмент A/B, как
Google Optimize, отслеживает несколько показателей).
Короче говоря, при оценке результатов A/B-теста учитывайте конверсию в конце воронки.
При этом, в основном, вы будете тестировать ранние этапы воронки. По двум причинам: