Sujet : statistics
-
Construire par bootstrap un intervalle de confiance pour une médiane, un percentile ou un ratio
Rééchantillonner de nombreuses fois les observations brutes avec remise, calculer la statistique sur chaque rééchantillon et lire l'intervalle dans la distribution obtenue ; cela fournit une incertitude pour les médianes, les percentiles, les ratios et les différences lorsqu'aucune formule classique ne s'applique. Indiquer la méthode, le nombre de rééchantillons et la taille de l'échantillon, et ne pas s'y fier pour les percentiles extrêmes de petits échantillons.
-
La confidentialité différentielle en un paragraphe, et où elle ne convient pas
La confidentialité différentielle borne à quel point l'enregistrement d'une seule personne peut modifier la distribution de sortie d'un mécanisme de requête, en ajoutant un bruit calibré et en imputant chaque réponse à un budget ; elle convient aux publications agrégées répétées sur de grandes populations et ne convient pas aux données au niveau de l'enregistrement, aux petits groupes, aux opérations exactes ni aux analyses internes ponctuelles.
-
Incertitude de mesure et chiffres significatifs dans les rapports techniques
Une valeur mesurée sans incertitude est incomplète : répéter la mesure, rapporter la moyenne avec l'écart-type de la moyenne et le nombre d'exécutions, arrondir l'incertitude à un ou deux chiffres significatifs et la valeur à la même décimale, et préciser ce que signifie l'intervalle ; les chiffres au-delà de l'incertitude sont du bruit.
-
Corrélation et causalité dans les données d'incidents et d'exploitation
Un coefficient de corrélation mesure à quel point deux séries évoluent ensemble ; il ne dit rien sur laquelle entraîne l'autre, sur le fait qu'un troisième facteur tel que le trafic entraîne les deux, ou sur le fait que les données aient été sélectionnées par le résultat lui-même. Tracer d'abord un graphique, contrôler les causes communes évidentes, vérifier la chronologie, et confirmer par une intervention telle qu'un flag ou un canary avant d'agir.
-
Les p-values : ce qu'elles mesurent et ce qu'elles ne mesurent pas
Une p-value est la probabilité, calculée sous l'ensemble du modèle statistique y compris l'hypothèse nulle, d'obtenir une statistique de test au moins aussi extrême que celle observée. Ce n'est ni la probabilité que l'hypothèse nulle soit vraie, ni la probabilité que le résultat soit dû au hasard, ni une mesure de la taille de l'effet ; et 0,05 est une convention, non une frontière entre le vrai et le bruit.
-
Échelles logarithmiques, axes tronqués et autres façons dont un graphique peut induire en erreur
Un axe logarithmique transforme des rapports égaux en distances égales et constitue le bon choix pour des données qui s'étendent sur plusieurs ordres de grandeur, mais il masque les différences absolues et ne peut pas représenter zéro ; un diagramme en barres dont l'axe ne commence pas à zéro fausse les proportions. Étiqueter l'échelle, conserver la ligne de base pour les barres, et utiliser une échelle symlog pour des effectifs incluant zéro.
-
À quel point les hypothèses de variance des calculs de taille d'échantillon étaient-elles erronées dans les petites expériences en ligne, et dans quel sens ?
Question ouverte : le manuel NIST/SEMATECH note que la formule classique de taille d'échantillon exige de connaître l'écart type, et qu'en pratique celui-ci est estimé à partir de données antérieures ; pour les petites expériences produit planifiées de cette façon, comment la variance supposée s'est-elle comparée à la variance observée une fois les données arrivées, l'erreur était-elle systématiquement optimiste, et qu'ont fait les équipes lorsque l'expérience s'est révélée sous-dimensionnée ?
-
Comment un tableau de bord devrait-il montrer l'incertitude d'une métrique pour que les opérateurs réagissent au signal plutôt qu'au bruit ?
Question ouverte : les tableaux de bord tracent un pourcentage calculé sur trois requêtes avec la même assurance visuelle qu'un pourcentage calculé sur trois millions, et un p99 issu d'un intervalle d'histogramme peu peuplé comme une ligne précise ; quelles façons d'afficher les tailles d'échantillon, des bandes d'intervalle ou l'erreur d'estimation se sont-elles avérées réduire les fausses alertes et les problèmes manqués pour les opérateurs d'astreinte ?
-
Échantillonnage par réservoir : un échantillon uniforme à partir d'un flux de longueur inconnue
Conserver k éléments d'un flux sans en connaître la longueur : remplir le réservoir avec les k premiers éléments, puis remplacer un emplacement choisi au hasard avec une probabilité k/i pour l'élément i. Une seule passe, une mémoire en O(k), chaque élément se retrouve dans l'échantillon avec une probabilité exactement égale à k/n, ce que montre un court argument télescopique.
-
Choisir des métriques de classification : précision, rappel, F1, seuils et calibration
L'exactitude (accuracy) masque ce qui compte lorsque les classes sont déséquilibrées ou que les erreurs ont des coûts différents ; la précision et le rappel décrivent les deux types d'erreur, F1 les combine, les scores indépendants du seuil décrivent le classement, et la calibration indique si une probabilité prédite de 0,8 signifie réellement 80 pour cent. Choisir la métrique en fonction de la décision que le modèle doit soutenir, avant l'entraînement.
-
Les améliorations mesurées après avoir ciblé les cas les moins performants sont en partie une régression vers la moyenne
Hypothèse : lorsqu'un effort d'ingénierie sélectionne les points de terminaison, tests, hôtes ou tenants les moins bien notés selon une métrique bruitée et rapporte leur amélioration après intervention, une part substantielle du gain rapporté se serait produite sans l'intervention, parce que les mesures extrêmes tendent à être suivies de mesures moins extrêmes. Un test proposé avec un groupe témoin non touché est décrit.
-
Les intervalles de confiance en bref : ce que l'intervalle dit et ce qu'il ne dit pas
Un intervalle de confiance à 95 % provient d'une procédure qui capture la vraie valeur dans 95 % des échantillons répétés ; un intervalle particulier la contient ou ne la contient pas. Sa largeur diminue avec la racine carrée de la taille de l'échantillon et croît avec la dispersion. Le lire comme la plage de valeurs compatibles avec les données, le rapporter à côté de chaque estimation, et calculer l'intervalle d'une différence lors d'une comparaison.
-
Surapprentissage et régularisation en bref : biais, variance et le curseur de pénalité
Un modèle est en surapprentissage lorsqu'il apprend le bruit des lignes d'entraînement et que son score de validation se met à décrocher de son score d'entraînement ; la régularisation échange une part d'ajustement contre de la stabilité en pénalisant les coefficients élevés ou en limitant la capacité du modèle, et les courbes d'apprentissage et de validation indiquent de quel côté du compromis se situe un modèle.
-
Analyser un test A/B : horizons fixes, coups d'œil anticipés et comparaisons multiples
Deux habitudes transforment discrètement un test A/B en générateur de nombres aléatoires : s'arrêter dès que la valeur p passe pour la première fois sous le seuil, et tester de nombreuses métriques ou segments jusqu'à ce que l'un d'eux « gagne ». Fixer l'horizon et la métrique principale à l'avance, utiliser une méthode séquentielle si les résultats doivent être surveillés en continu, corriger les comparaisons secondaires, et rapporter tout ce qui a été examiné.
-
Préenregistrer une petite expérience avant de consulter les données
Consigner par écrit l'hypothèse, le critère de résultat principal, l'échantillon et la règle d'arrêt, les exclusions et le plan d'analyse, puis committer ou enregistrer le document avec un horodatage avant de recueillir ou de consulter les données ; rendre compte en premier de l'analyse prévue et qualifier tout le reste d'exploratoire.
-
Taille d'effet contre signification statistique : laquelle décide
La signification indique si les données sont inhabituelles sous le modèle nul à la taille d'échantillon utilisée ; la taille d'effet indique l'ampleur de la différence dans les unités qui comptent. Les grands systèmes rendent significatifs des effets négligeables, et les petits essais pilotes rendent non significatifs de grands effets. Il convient de définir avant l'expérience le plus petit effet justifiant une action, puis de comparer l'intervalle à ce seuil.
-
Variance, écart-type, MAD et IQR : présenter la dispersion
Une valeur de position sans mesure de dispersion n'est qu'un demi-nombre. L'écart-type décrit bien la dispersion pour des données à peu près normales, et est dominé par les queues de distribution dans les autres cas ; l'intervalle interquartile et l'écart absolu médian décrivent le corps de la distribution. Il convient de nommer la mesure utilisée, d'indiquer la taille de l'échantillon, d'utiliser la forme en n−1 pour les estimations issues d'échantillons, et de ne jamais étiqueter une barre d'erreur par un simple ±.
-
Estimer le nombre d'échantillons nécessaires à une comparaison avant de les collecter
Les petits échantillons induisent en erreur, car leurs moyennes et leurs dispersions s'éloignent fortement de la vérité, si bien qu'une différence entre deux petits groupes n'est souvent que du bruit. Décider la plus petite différence qu'il vaut la peine de détecter, estimer la dispersion à partir d'un essai pilote, choisir les taux d'erreur, et calculer la taille d'échantillon par groupe avant la comparaison ; elle croît avec le carré du rapport dispersion sur différence.
-
Moyenne, médiane et mode : choisir une statistique de synthèse qui n'induit pas en erreur
La moyenne arithmétique est tirée par l'asymétrie et les valeurs aberrantes, la médiane ignore l'ampleur des extrêmes, et le mode n'a de sens que pour des données catégorielles ou nettement piquées. Choisir en fonction de la forme de la distribution et de la question posée, afficher l'effectif à côté de chaque synthèse, et ne jamais moyenner des ratios ou des percentiles.
-
Le paradoxe de Simpson et la négligence du taux de base dans les rapports
Deux effets arithmétiques font qu'un tableau correct peut étayer une phrase erronée : une association peut s'inverser lorsqu'une population est divisée en groupes mélangés dans des proportions différentes, et la précision d'un signal ne dit que peu de choses sur ce que signifie un signal positif tant que le taux de base n'est pas connu. Demander comment les groupes ont été mélangés et garder les dénominateurs visibles.
Lisible par machine : JSON