Тестирование гипотез

Тестирование гипотез (проверка гипотез, hypothesis testing) — дисциплина, которая превращает поток идей «а давайте сделаем» в управляемый конвейер экспериментов. Вместо того чтобы строить функцию три месяца и узнать, что она никому не нужна, команда формулирует проверяемое предположение, выбирает самый дешёвый способ его проверить и принимает решение по заранее зафиксированной метрике.

Как формулировать и приоритизировать

Рабочая гипотеза — не «улучшим онбординг», а утверждение с механикой и измеримым эффектом:

Если [изменение], то [метрика] изменится на [величину], потому что [механика поведения пользователя]

• Изменение — что конкретно делаем (новый экран, другой текст, иная цена).
• Метрика — одна ключевая метрика решения и допустимые границы для контрольных метрик.
• Величина — минимальный детектируемый эффект (MDE): прирост, ради которого изменение вообще стоит внедрять.
• Механика — почему пользователь должен повести себя иначе; без неё гипотеза — гадание.

Когда гипотез больше, чем ресурсов (а так всегда), их приоритизируют. Два стандартных скоринга:

ICE = (Impact + Confidence + Ease) / 3

RICE = (Reach × Impact × Confidence) / Effort

• Reach — сколько пользователей затронет изменение за период.
• Impact — сила эффекта на пользователя (обычно шкала 0,25–3).
• Confidence — уверенность в оценках, в долях (0,5 = 50%).
• Effort / Ease — трудозатраты в человеко-месяцах или обратная им простота.

Способ проверки выбирают по цене: интервью и анализ существующих данных — дешевле всего, затем прототип и MVP, и только для количественной оценки эффекта — полноценный A/B-тест.

Пример с числами

Приложение-шагомер «Шаги»: команда видит, что только 40% новых пользователей доходят до конца онбординга. Гипотеза: если сократить онбординг с 6 экранов до 3, конверсия в завершение вырастет с 40% до 46%, потому что пользователи бросают на экранах с необязательными вопросами.

Приоритизация по RICE: Reach = 20 000 новых пользователей в месяц, Impact = 1 (заметный), Confidence = 0,8 (есть данные воронки: 70% отвалов приходится на экраны 4–5), Effort = 0,5 человеко-месяца.

RICE = (20 000 × 1 × 0,8) / 0,5 = 32 000

Это выше, чем у конкурирующей гипотезы про пуш-уведомления (RICE = 9 600), — берём в работу первой.

Эксперимент: A/B-тест на 50/50. За две недели через онбординг проходит около 10 000 новых пользователей — по 5 000 в группе. Этого с запасом хватает, чтобы отловить прирост в 6 процентных пунктов при уровне значимости 5% и мощности 80%: расчётный минимум — порядка 1 100 человек на группу. Итог: контроль — 40,2% завершений, вариант — 45,1%. Эффект +4,9 п.п., p-value {'<'} 0,001 — статистически значимо. Контрольная метрика (7-дневный Retention) не просела: 34,8% против 35,1%. Решение: раскатываем на всех. Заодно честно фиксируем: план был +6 п.п., получили +4,9 — это тоже результат, он калибрует Confidence будущих оценок.

Нормы и бенчмарки

• Доля подтвердившихся гипотез — в зрелых экспериментальных культурах выигрывает лишь меньшинство тестов, ориентир 10–30%. Если у вас «подтверждается» 80% — скорее всего, проблема в методологии, а не в гениальности команды.
• Уровень значимости — стандарт α = 0,05: готовность ошибиться и принять случайный шум за эффект в 5% случаев.
• Мощность теста — стандарт 80%: вероятность заметить эффект, если он действительно есть.
• Длительность A/B-теста — минимум 1–2 полные недели, чтобы захватить недельную цикличность поведения; тест не останавливают в момент «достижения значимости».
• Темп — сильные продуктовые команды прогоняют от нескольких до десятков экспериментов в месяц; узкое место обычно не разработка, а генерация качественных гипотез.

Частые ошибки

• Гипотеза без метрики и порога. «Сделаем удобнее» нельзя ни подтвердить, ни опровергнуть. Метрика, MDE и срок фиксируются до запуска.
• Подглядывание (peeking). Ежедневно смотреть на p-value и останавливать тест, как только он «стал значимым», — способ выдать шум за эффект: вероятность ложного срабатывания вырастает в разы.
• Гипотеза задним числом. Запустили изменение, увидели рост, придумали объяснение — это HARKing, а не проверка. Рост мог дать сезон, реклама или параллельный релиз — см. корреляцию и каузацию.
• Проверка самым дорогим способом. Половину гипотез закрывают интервью, фейк-дверь или анализ логов за неделю — без трёх спринтов разработки.
• Одна метрика без контрольных. Конверсия в покупку выросла, а возвраты и отток — тоже. Без guardrail-метрик «победивший» тест может тихо разрушать продукт.

Связанные термины

• A/B-тестирование — главный количественный инструмент проверки гипотез.
• MVP — способ проверить гипотезу о ценности продукта минимальными средствами.
• Корреляция и каузация — почему рост метрики после релиза ещё не доказывает эффект.
• Конверсия — типичная метрика решения в продуктовых экспериментах.