method_fit_click
Переход к методу после подсказки.
Клик не доказывает, что рекомендация была правильной.
выбор оракула
Recommender tests
Как тестировать подбор метода: Tarot, Lenormand, Runes, I-Ching, Moon, Astrology, Symbols, Dreams.
Рекомендатель должен помогать выбрать язык ответа, а не утверждать, что один оракул сильнее другого.
switch_method_rate
Сколько людей меняют метод после подсказки.
Высокий switch может означать любопытство или путаницу.
question_completed
Дошёл ли человек до вопроса после рекомендации.
Не усложнять вход длинной анкетой.
Записать гипотезу
Формула: если мы изменим X для аудитории Y, то метрика Z изменится, потому что исчезнет конкретное трение.
- Есть один главный изменяемый элемент.
- Есть одна primary metric и одна guardrail metric.
- Есть заранее записанное решение после теста.
Запустить тихо
Начинайте с малой доли трафика или одного сегмента, особенно если тест касается оплаты, email, доверия или новичков.
- Тест можно выключить без deploy-хаоса.
- События пишутся без личных вопросов и текстов свитков.
- Поддержка знает, что изменилось.
Прочитать результат
Не объявляйте победителя по одному дню. Смотрите device split, источник трафика, жалобы, возвраты и качество поведения после оплаты.
- Результат сравнен с baseline.
- Guardrail не ухудшился.
- Итог записан в experiment log.
карточки эксперимента
- Three-question recommender versus one-question recommender.
- Method cards by situation versus method cards by tradition.
- Beginner default path versus free choice first.
правила отката
- Откатить, если пользователи чаще бросают поток до вопроса.
- Откатить, если текст звучит как 'только этот метод знает правду'.
выход
- Winning recommender rule and affected routes.
- Updated method descriptions in search and halls.
красные флаги
- Рекомендатель собирает слишком личные данные.
- Система скрывает бесплатный путь.
связанные двери