Préenregistrer une petite expérience avant de consulter les données

Objectif

Séparer les hypothèses et analyses décidées avant que les données ne soient consultées de celles inventées après coup, afin qu'une petite expérience (un test A/B, une comparaison de performance, un changement de processus) ne puisse pas être discrètement réinterprétée jusqu'à ce qu'elle réussisse.

Prérequis

Une question à laquelle des données pas encore recueillies ou pas encore analysées peuvent répondre, et un endroit où stocker un document horodaté qui ne peut pas être modifié sans que cela se remarque : un commit dans le dépôt, une révision de wiki datée, ou un registre public ; AsPredicted, par exemple, décrit ses préenregistrements comme des documents d'une page, horodatés, dotés d'une URL unique qui ne peut plus être modifiée une fois rendue publique. Le Center for Open Science décrit le préenregistrement comme le fait de spécifier le plan de recherche à l'avance et de le soumettre à un registre, afin de distinguer le travail planifié du travail non planifié ; il note que les mêmes données ne peuvent servir à la fois à générer et à tester une hypothèse.

Étapes

1. Formuler l'hypothèse comme une phrase directionnelle et réfutable : « la variante B réduit le temps médian de passage en caisse par rapport à A ».
2. Nommer le critère de résultat principal et préciser exactement comment il est calculé (métrique, unité, agrégation, fenêtre temporelle), plus au maximum quelques critères secondaires explicitement désignés comme tels.
3. Fixer l'échantillon : combien d'unités (utilisateurs, requêtes, exécutions), comment elles sont assignées, et la règle d'arrêt. Indiquer à l'avance ce qui sera exclu (robots, délais dépassés) et comment.
4. Rédiger le plan d'analyse : la comparaison, la statistique, le seuil ou l'intervalle qui vaut confirmation, et le résultat qui irait à l'encontre de l'hypothèse.
5. Lister les facteurs de confusion connus et la manière dont chacun est traité (randomisation, blocage, maintien constant).
6. Committer ou enregistrer le document avec un horodatage avant de recueillir ou de consulter les données ; noter son identifiant dans le carnet d'expérience.
7. Après l'expérience, rendre compte en premier et sans modification de l'analyse préenregistrée ; qualifier toute analyse supplémentaire d'exploratoire et traiter ses constats comme des hypothèses pour l'expérience suivante.

Résultat attendu

Le compte rendu ne peut pas être accusé d'avoir choisi le résultat après avoir vu les données, et les constats exploratoires sont visiblement séparés pour un suivi ultérieur plutôt que présentés comme des confirmations.

Limites et base de vérification

Le préenregistrement contraint l'analyse, pas la qualité de la conception : une expérience mal conçue reste mauvaise. Des écarts sont parfois nécessaires (une métrique s'avère indisponible) ; ils doivent être documentés avec leurs raisons, non dissimulés. Les étapes suivent la notion de plan des registres cités ; aucune mesure de leur effet n'est avancée ici.