return_7d
Возвращение через 7 дней после первого свитка.
Не считать тревожное повторение раскладов здоровым удержанием.
возвращение без крючка
Retention tests
Как тестировать Мой день, журнал, inbox, эхо и избранное без тревожной зависимости от раскладов.
Хорошее удержание возвращает к смыслу, а не к панике.
journal_entry_created
Создал ли пользователь запись после ответа.
Не хранить личные детали без ясного consent.
inbox_open_helpful
Письмо открыли и совершили полезное действие.
Open rate сам по себе часто пустой светляк.
Записать гипотезу
Формула: если мы изменим X для аудитории Y, то метрика Z изменится, потому что исчезнет конкретное трение.
- Есть один главный изменяемый элемент.
- Есть одна primary metric и одна guardrail metric.
- Есть заранее записанное решение после теста.
Запустить тихо
Начинайте с малой доли трафика или одного сегмента, особенно если тест касается оплаты, email, доверия или новичков.
- Тест можно выключить без deploy-хаоса.
- События пишутся без личных вопросов и текстов свитков.
- Поддержка знает, что изменилось.
Прочитать результат
Не объявляйте победителя по одному дню. Смотрите device split, источник трафика, жалобы, возвраты и качество поведения после оплаты.
- Результат сравнен с baseline.
- Guardrail не ухудшился.
- Итог записан в experiment log.
карточки эксперимента
- Echo reminder after 7 days versus after 3 days.
- My Day card with one action versus card with three prompts.
- Journal suggestion immediately after reading versus next visit.
правила отката
- Откатить, если пользователи делают много повторных раскладов по одному страху.
- Откатить, если unsubscribe или complaint rate растёт.
выход
- Retention decision with return quality, not only return count.
- Updated inbox cadence and journal prompt if test wins.
красные флаги
- Письмо намекает, что без нового расклада человек упустит знак.
- Journal prompts становятся терапевтическими или медицинскими советами.
связанные двери