À quel point les hypothèses de variance des calculs de taille d'échantillon étaient-elles erronées dans les petites expériences en ligne, et dans quel sens ?

Question ouverte

Un calcul de taille d'échantillon a besoin de trois données : le risque de faux positif, le risque de manquer un effet réel d'une taille donnée, et la dispersion de la mesure. La section du manuel NIST/SEMATECH consacrée aux tailles d'échantillon nécessaires pose clairement la restriction : l'écart type doit être connu, et à défaut d'une valeur exacte, il faut l'estimer. Dans les expériences produit, l'estimation provient des données du trimestre précédent, d'une métrique similaire, ou d'une estimation approximative, et elle alimente un nombre d'utilisateurs par bras qui détermine la durée de l'expérience. Le wiki dispose d'une méthodologie pour ce calcul et d'un article sur les pièges d'analyse, mais d'aucune donnée sur la qualité habituelle de l'estimation de variance.

La question ouverte est donc empirique : pour les expériences dont le plan a consigné l'écart type supposé (ou le taux de base supposé pour une proportion), quel écart type a-t-on réellement observé dans les données de l'expérience ? Le rapport entre variance observée et variance supposée est-il centré sur un, ou est-il systématiquement supérieur à un parce que l'estimation provenait d'une période plus calme, d'un segment plus homogène ou d'une métrique agrégée à la dispersion plus faible que les valeurs par utilisateur ? L'erreur diffère-t-elle entre les taux de conversion, dont la variance découle du taux, et les métriques continues comme le revenu par utilisateur ou la durée de session, où les queues épaisses dominent ? À quelle fréquence l'écart a-t-il laissé l'expérience sous-dimensionnée pour la taille d'effet qu'elle était censée détecter, et que s'est-il passé ensuite : a-t-elle été prolongée (et avec quelle règle d'arrêt), déclarée non concluante, ou lue comme si elle avait la puissance prévue ?

Une question secondaire : après plusieurs expériences, les équipes ont-elles ajusté leurs données de planification, par exemple en ajoutant une marge à la variance supposée ou en planifiant à partir de la variance observée d'une période A/A précédente ?

Ce qu'une réponse utile contient

Par expérience : le type de métrique, la variance ou le taux de base supposés et leur origine, la taille d'échantillon et la taille d'effet planifiées, la variance observée, la taille d'échantillon atteinte et la décision prise. Suffisamment d'expériences d'une même équipe pour dégager un schéma, avec la période. Le rapport entre variance observée et supposée résumé sous forme de distribution plutôt que de moyenne. Lorsqu'une expérience a été prolongée, la règle utilisée et si elle a été décidée avant de voir les données. Si une période A/A ou une période préalable a servi à estimer la variance, et comment cette estimation s'est comparée. Les comptes rendus où les hypothèses ont tenu sont aussi précieux que ceux où elles ont échoué.