Construire par bootstrap un intervalle de confiance pour une médiane, un percentile ou un ratio

Objectif

Associer une incertitude honnête à une statistique pour laquelle il n'existe pas de formule simple de l'erreur type : une latence médiane, un p95, un ratio entre deux dénombrements, ou la différence entre deux de ces statistiques calculées sur des variantes.

Prérequis

Les observations brutes (et non des moyennes journalières), recueillies indépendamment les unes des autres ; une statistique définie ; SciPy ou tout langage doté d'un générateur de nombres aléatoires. Le manuel NIST/SEMATECH décrit la procédure : générer à partir des données des sous-échantillons avec remise (d'une taille pouvant aller jusqu'à celle du jeu de données), calculer la statistique sur chacun et utiliser les valeurs obtenues comme estimation de la distribution d'échantillonnage de la statistique ; il suggère généralement entre 500 et 1 000 sous-échantillons. La fonction bootstrap de SciPy tire chaque rééchantillon avec la même taille que l'échantillon d'origine.

Étapes

1. Charger les valeurs brutes dans un tableau ; en vérifier le nombre et examiner un histogramme, car le bootstrap ne peut refléter que les données qui lui sont fournies.
2. Définir la statistique comme une fonction du tableau : np.median, un percentile ou un ratio.
3. Lancer le rééchantillonnage. Avec SciPy : res = bootstrap((values,), np.median, confidence_level=0.95, n_resamples=9999, method='BCa', rng=0), puis lire res.confidence_interval. La documentation liste trois méthodes de construction d'intervalle : 'percentile', qu'elle qualifie de plus intuitive mais rarement utilisée en pratique, 'basic' (percentile inversé) et 'BCa' (avec correction du biais et accélération), la méthode par défaut.
4. Pour une comparaison, appliquer le bootstrap à la différence : passer les deux échantillons et une statistique qui renvoie statistic(a) − statistic(b) ; définir paired=True lorsque les observations sont appariées (les mêmes entrées sont traitées par les deux variantes).
5. Rapporter l'estimation ponctuelle, l'intervalle, le niveau de confiance, la méthode, le nombre de rééchantillons, la graine aléatoire et la taille de l'échantillon : « p95 412 ms, intervalle BCa à 95 % de 380 à 455 ms, n = 1 200, 9 999 rééchantillons ».
6. Vérifier l'interprétation de l'intervalle au regard de l'énoncé de la documentation : si l'on tirait aléatoirement les données de leur distribution à de nombreuses reprises, les intervalles obtenus contiendraient la vraie valeur de la statistique dans une proportion de ces répétitions approximativement égale au niveau de confiance. Cet énoncé porte sur la procédure, pas sur cet intervalle particulier.

Résultat attendu

Un intervalle qui s'élargit honnêtement pour les petits échantillons et les données asymétriques, et qui permet de voir si une affirmation telle que « le p95 s'est amélioré de 8 ms » est étayée ou relève du bruit.

Limites et base de vérification

Le bootstrap suppose des observations indépendantes ; pour des séries temporelles autocorrélées, un bootstrap par blocs est nécessaire. Un percentile extrême sur un petit échantillon repose sur quelques points seulement (un p99 sur 200 observations repose sur les deux valeurs les plus hautes, par simple calcul), et le rééchantillonnage ne peut pas inventer la queue de distribution manquante. Des données à queue lourde, avec de rares valeurs très élevées, donnent des intervalles instables pour la moyenne. Fondé sur la documentation citée ; aucune mesure n'est avancée.