primary metric
Одна главная метрика, например start_question_rate или checkout_started.
Нельзя выбирать метрику после результата.
с чего начинается тест
Hypotheses
Шаблон гипотез OmenHall: как отличить проверяемую идею от красивого желания, которое нельзя измерить.
Гипотеза должна быть короткой, проверяемой и безопасной для доверия.
guardrail metric
Метрика, которая защищает доверие: refunds, support complaints, unsubscribes, rage clicks.
Если guardrail падает, победа по конверсии может быть ядом в золотой чаше.
minimum runtime
Минимальный срок до чтения результата, обычно не меньше 7 дней для слабого трафика.
Не закрывать тест после случайного всплеска.
Записать гипотезу
Формула: если мы изменим X для аудитории Y, то метрика Z изменится, потому что исчезнет конкретное трение.
- Есть один главный изменяемый элемент.
- Есть одна primary metric и одна guardrail metric.
- Есть заранее записанное решение после теста.
Запустить тихо
Начинайте с малой доли трафика или одного сегмента, особенно если тест касается оплаты, email, доверия или новичков.
- Тест можно выключить без deploy-хаоса.
- События пишутся без личных вопросов и текстов свитков.
- Поддержка знает, что изменилось.
Прочитать результат
Не объявляйте победителя по одному дню. Смотрите device split, источник трафика, жалобы, возвраты и качество поведения после оплаты.
- Результат сравнен с baseline.
- Guardrail не ухудшился.
- Итог записан в experiment log.
карточки эксперимента
- If we shorten the pricing page hero, more users will start checkout because the offer becomes easier to scan.
- If we add a privacy note before gift reading purchase, fewer users will abandon because the recipient boundary becomes clear.
- If My Day shows one real-world action, more users will save the reading because the result feels practical.
правила отката
- Остановить тест, если возвраты или жалобы выросли сильнее primary metric.
- Остановить тест, если текст стал тревожным или давящим.
выход
- Одна карточка гипотезы с owner, dates, segment, metric, guardrail, expected decision.
- Ссылка на analytics dashboard и experiment log.
красные флаги
- Гипотеза звучит как 'сделать красивее' без метрики.
- Тест обещает предсказать исход отношений, здоровья, суда или денег.
- Нет владельца решения после теста.
связанные двери