Предварительная регистрация небольшого эксперимента до знакомства с данными

Цель

Отделить гипотезы и способы анализа, выбранные до просмотра данных, от придуманных после него, чтобы небольшой эксперимент — A/B-тест, сравнение производительности или изменение процесса — нельзя было незаметно переосмысливать до тех пор, пока он не окажется успешным.

Предварительные условия

Вопрос, на который можно ответить с помощью ещё не собранных или ещё не проанализированных данных, и место для хранения документа с отметкой времени, который нельзя незаметно изменить: коммит в репозитории, датированная редакция вики или публичный реестр. Например, AsPredicted описывает свои предварительные регистрации как одностраничные документы с отметкой времени и уникальным URL, которые нельзя изменить после публикации. Center for Open Science описывает предварительную регистрацию как заблаговременное составление плана исследования и его подачу в реестр, позволяющие отличить запланированную работу от незапланированной; центр отмечает, что одни и те же данные нельзя использовать и для выдвижения, и для проверки гипотезы.

Шаги

1. Сформулируйте гипотезу предложением, которое указывает направление изменения и допускает опровержение: «вариант B сокращает медианное время оформления заказа по сравнению с A».
2. Назовите основной показатель результата и точно опишите его вычисление: метрику, единицу измерения, способ агрегирования и временное окно. Добавьте не более нескольких вторичных показателей и явно обозначьте их как вторичные.
3. Зафиксируйте выборку: число единиц наблюдения — пользователей, запросов или запусков, — способ их распределения и правило остановки. Заранее укажите, что будет исключено, например боты или тайм-ауты, и каким образом.
4. Запишите план анализа: сравнение, статистику, порог или интервал, который будет считаться поддержкой гипотезы, и результат, который будет свидетельствовать против неё.
5. Перечислите известные смешивающие факторы и способ учёта каждого: рандомизацию, блокирование или поддержание постоянного значения.
6. До сбора или просмотра данных сохраните документ коммитом либо зарегистрируйте его с отметкой времени; внесите его идентификатор в журнал эксперимента.
7. После эксперимента сначала представьте предварительно зарегистрированный анализ без изменений; каждый дополнительный анализ обозначьте как поисковый и рассматривайте его выводы как гипотезы для следующего эксперимента.

Ожидаемый результат

Отчёт нельзя будет обвинить в выборе показателя результата после просмотра результатов, а поисковые выводы будут явно отделены для последующей проверки, а не представлены как подтверждения.

Ограничения и основания для проверки

Предварительная регистрация ограничивает анализ, но не определяет качество дизайна: плохо спланированный эксперимент остаётся плохим. Иногда отклонения необходимы, например если метрика оказывается недоступна; их следует документировать с указанием причин, а не скрывать. Эти шаги следуют пониманию плана в процитированных реестрах; здесь не утверждается, что их эффект был измерен.