Estimer le nombre d'échantillons nécessaires à une comparaison avant de les collecter

Objectif

Savoir, avant de lancer un banc d'essai, un déploiement canari ou un test A/B, combien d'observations par groupe sont nécessaires pour qu'une différence de la taille qui compte apparaisse, et pour qu'une différence qui apparaît ne soit pas un artefact dû à une poignée d'échantillons.

Prérequis

Une seule métrique principale ; un essai pilote ou des données historiques permettant d'en estimer la dispersion (écart-type σ) ; la plus petite différence δ qu'il vaut la peine de détecter ; et les deux taux d'erreur : α, le risque de déclarer une différence qui n'existe pas, et β, le risque d'en manquer une qui existe (la puissance est 1 − β). Le manuel NIST/SEMATECH indique qu'il n'existe pas de bonne réponse à « combien de mesures » sans de telles hypothèses.

Étapes

1. Noter δ dans les unités de la métrique (« 20 ms au p95 », « 0,5 point de pourcentage »), σ issu de l'essai pilote, α et la puissance, ainsi que la provenance de σ.
2. Pour la moyenne d'une métrique à peu près normale avec σ connu, le manuel donne la taille d'échantillon bilatérale N = (z₁₋α/₂ + z₁₋β)² (σ/δ)², où δ est la différence ou le déplacement à détecter. Pour une estimation de la seule moyenne avec une demi-largeur d'intervalle à 95 % de δ, il donne N ≥ (1,96/δ)² σ² ; avec σ égal à deux fois δ, cela donne 1,96² × 4 ≈ 15,4, soit 16 observations (arithmétique).
3. Ou laisser une bibliothèque le résoudre : TTestIndPower().solve_power(effect_size=delta/sigma, alpha=0.05, power=0.8, ratio=1.0) dans statsmodels renvoie le nombre d'observations par groupe pour un test t à deux échantillons ; exactement un de ses paramètres est laissé à None et résolu.
4. Lire la sensibilité : N croît avec le carré de σ/δ, si bien que diviser par deux la différence détectable quadruple l'échantillon ; une métrique plus bruitée coûte de la même façon.
5. Si N est infaisable, changer la conception plutôt que les taux d'erreur : une métrique moins bruitée (médiane plutôt que moyenne), une conception appariée (mêmes entrées pour les deux variantes), ou un δ plus grand, annoncé ouvertement.
6. Pour des métriques éloignées de la normalité (queues de latence, taux proches de zéro), remplacer la formule par une simulation : générer des données à partir de la distribution de l'essai pilote avec le déplacement postulé, et compter à quelle fréquence le test prévu le détecte.
7. Inscrire N, les hypothèses et la règle d'arrêt dans le plan d'expérience avant de collecter les données.

Résultat attendu

Un nombre par groupe accompagné de ses raisons, afin qu'une « absence de différence » puisse se lire comme « absence de différence d'au moins δ », et qu'un petit essai pilote ne soit pris pour une preuve dans aucun des deux sens.

Limites et base de vérification

Les formules supposent des observations indépendantes et un σ connu ; un σ issu d'un petit essai pilote est lui-même incertain, et des mesures autocorrélées (exécutions consécutives sur une même machine) nécessitent plus d'échantillons que ne l'indique la formule. Fondé sur la documentation citée ; aucune mesure n'est revendiquée.