delivery_rate
Доставляемость до чтения copy-result.
Плохая доставка делает subject test бессмысленным.
письма без шума
Email tests
Тесты тем писем, timing, служебных уведомлений, echo reminders и лунных писем.
Письмо должно помогать найти свиток или вернуться к ритуалу, а не создавать беспокойство.
useful_click_rate
Клик на полезное действие: открыть свиток, журнал, privacy settings.
Не гнаться за clickbait subject.
unsubscribe_or_complaint
Главный guardrail email-тестов.
Рост жалоб важнее роста open rate.
Записать гипотезу
Формула: если мы изменим X для аудитории Y, то метрика Z изменится, потому что исчезнет конкретное трение.
- Есть один главный изменяемый элемент.
- Есть одна primary metric и одна guardrail metric.
- Есть заранее записанное решение после теста.
Запустить тихо
Начинайте с малой доли трафика или одного сегмента, особенно если тест касается оплаты, email, доверия или новичков.
- Тест можно выключить без deploy-хаоса.
- События пишутся без личных вопросов и текстов свитков.
- Поддержка знает, что изменилось.
Прочитать результат
Не объявляйте победителя по одному дню. Смотрите device split, источник трафика, жалобы, возвраты и качество поведения после оплаты.
- Результат сравнен с baseline.
- Guardrail не ухудшился.
- Итог записан в experiment log.
карточки эксперимента
- Subject: 'Ваш свиток готов' versus 'Ответ запечатан'.
- Echo timing: 7 days versus 10 days.
- Plain service email versus branded service email.
правила отката
- Откатить, если complaint rate вырос.
- Откатить, если письмо звучит как срочное предзнаменование.
выход
- Email decision with delivery, useful click, unsubscribe and complaint notes.
- Updated macro in support ops if users misunderstand email purpose.
красные флаги
- Subject скрывает, что письмо коммерческое или повторное.
- Письмо содержит личный вопрос в теме.
связанные двери