decision recorded
Каждый тест завершён записью решения.
Нет решения, нет обучения.
память лаборатории
Experiment log
Журнал экспериментов: что пробовали, почему, когда, чем закончилось и когда перепроверить.
Без журнала команда будет снова и снова открывать одну и ту же дверь, удивляясь тому же скрипу.
recheck date
Дата повторной проверки после внедрения.
Победивший тест может состариться через месяц.
linked artifact
Скриншоты, copy diff, dashboard, support notes.
Память без артефактов быстро становится мифом.
Записать гипотезу
Формула: если мы изменим X для аудитории Y, то метрика Z изменится, потому что исчезнет конкретное трение.
- Есть один главный изменяемый элемент.
- Есть одна primary metric и одна guardrail metric.
- Есть заранее записанное решение после теста.
Запустить тихо
Начинайте с малой доли трафика или одного сегмента, особенно если тест касается оплаты, email, доверия или новичков.
- Тест можно выключить без deploy-хаоса.
- События пишутся без личных вопросов и текстов свитков.
- Поддержка знает, что изменилось.
Прочитать результат
Не объявляйте победителя по одному дню. Смотрите device split, источник трафика, жалобы, возвраты и качество поведения после оплаты.
- Результат сравнен с baseline.
- Guardrail не ухудшился.
- Итог записан в experiment log.
карточки эксперимента
- Log fields: id, owner, route, hypothesis, variant, metric, guardrail, result, decision.
- Decision values: ship, rollback, iterate, inconclusive, never again.
- Recheck: 7 days, 30 days, after traffic source changes.
правила отката
- If a test is rolled back, log the exact trigger and timestamp.
- If inconclusive, do not quietly ship because it 'felt better'.
выход
- Clean experiment record ready for future team review.
- Update calendar entry if winning change needs recheck.
красные флаги
- В журнале есть только победы.
- Нет связи с analytics или support notes.
связанные двери