variant exposure
Пользователь должен видеть один вариант стабильно в рамках сессии.
Не переключать вариант при reload.
чистый эксперимент
A/B tests
Правила A/B-тестов для OmenHall: один элемент, один сегмент, один срок, один вывод.
A/B-тест не должен ломать путь пользователя и не должен прятать важные предупреждения.
conversion delta
Смотреть изменение относительно baseline, а не абсолютный восторг одного дня.
Не считать победой маленький шум без guardrail.
device split
Mobile и desktop читать отдельно.
Победа на desktop может быть провалом на телефоне.
Записать гипотезу
Формула: если мы изменим X для аудитории Y, то метрика Z изменится, потому что исчезнет конкретное трение.
- Есть один главный изменяемый элемент.
- Есть одна primary metric и одна guardrail metric.
- Есть заранее записанное решение после теста.
Запустить тихо
Начинайте с малой доли трафика или одного сегмента, особенно если тест касается оплаты, email, доверия или новичков.
- Тест можно выключить без deploy-хаоса.
- События пишутся без личных вопросов и текстов свитков.
- Поддержка знает, что изменилось.
Прочитать результат
Не объявляйте победителя по одному дню. Смотрите device split, источник трафика, жалобы, возвраты и качество поведения после оплаты.
- Результат сравнен с baseline.
- Guardrail не ухудшился.
- Итог записан в experiment log.
карточки эксперимента
- Hero CTA: 'Получить ответ' versus 'Начать с вопроса'.
- Pricing cards: three tiers versus guided recommendation.
- Search hub: popular doors above categories versus categories above popular doors.
правила отката
- Откатить, если checkout errors или rage clicks выросли.
- Откатить, если support получает вопросы 'куда нажимать'.
выход
- Decision: ship A, ship B, iterate, or rollback.
- Скриншоты вариантов и дата повторной проверки.
красные флаги
- Варианты отличаются сразу несколькими крупными элементами.
- Вариант B скрывает disclaimer или возвраты.
связанные двери