Analyser un test A/B : horizons fixes, coups d'œil anticipés et comparaisons multiples

Objectif

Aboutir à une décision sur une variante dont l'effet rapporté et le taux d'erreur signifient effectivement ce qu'ils indiquent, même si l'expérience a été surveillée quotidiennement et que de nombreux chiffres étaient disponibles.

Prérequis

Une métrique principale et le plus petit effet justifiant une action, une taille d'échantillon ou une durée calculée à partir de ces éléments, une randomisation à l'unité pertinente (un utilisateur, pas une requête, afin que les visites répétées d'une même personne ne comptent pas comme des observations indépendantes), et un plan écrit.

Étapes

1. Fixer l'horizon avant de commencer : la taille d'échantillon par bras ou le nombre de semaines complètes, plus α. Le résumé de l'article cité sur l'analyse séquentielle indique que les valeurs p et les intervalles de confiance standards sont totalement peu fiables si les utilisateurs choisissent la taille de leur échantillon en surveillant continuellement leurs tests ; chaque coup d'œil est une nouvelle chance de franchir le seuil par simple bruit.
2. Si les résultats doivent être surveillés et donner lieu à une action anticipée, remplacer le test à horizon fixe par une méthode conçue pour cela : les valeurs p et intervalles de confiance « toujours valides » de l'article, ou un plan séquentiel par groupes avec des points de contrôle planifiés à l'avance et des seuils ajustés. Sinon, ne consulter le tableau de bord que pour vérifier le bon déroulement, et analyser à l'horizon prévu.
3. Vérifier l'assignation avant de lire la métrique : la répartition observée entre les bras doit correspondre au ratio prévu, et les deux bras doivent couvrir la même période, afin qu'un découpage défaillant ou un déploiement partiel ne soit pas interprété comme un effet.
4. Analyser la métrique principale avec le test préalablement déclaré et rapporter l'effet avec son intervalle et l'effectif par bras.
5. Pour les métriques et segments secondaires (pays, plateforme, nouveaux utilisateurs contre utilisateurs récurrents), ajuster les valeurs p en fonction du nombre de comparaisons : multipletests(pvals, alpha=0.05, method='holm') dans statsmodels contrôle le taux d'erreur global (family-wise error rate), method='fdr_bh' (Benjamini/Hochberg) contrôle le taux de fausses découvertes. Traiter un segment significatif comme une hypothèse pour la prochaine expérience, pas comme un résultat de celle-ci.
6. Rapporter chaque métrique et chaque segment examinés, y compris ceux qui n'ont rien montré. Greenland et ses coauteurs qualifient de manquement le fait de sélectionner les analyses à présenter en fonction des valeurs p qu'elles produisent, une pratique qui fait apparaître de petites valeurs p même lorsque l'hypothèse testée est correcte.
7. Consigner dans le compte rendu les écarts par rapport au plan (durée prolongée, jours exclus, métrique modifiée).

Résultat attendu

Une décision assortie d'une taille d'effet, d'un intervalle et d'un taux d'erreur honnête, et un compte rendu permettant à la personne suivante de voir combien de comparaisons se cachaient derrière le résultat mis en avant.

Limites et base de vérification

Les effets de nouveauté et d'apprentissage rendent les premiers jours non représentatifs ; un horizon plus court qu'un cycle hebdomadaire complet biaise le résultat ; des bras qui partagent un cache, une file d'attente ou une place de marché interfèrent entre eux. Les étapes suivent la documentation et l'article cités ; aucun résultat d'expérience n'est avancé.