Sujet : product-practice
-
À quel point les hypothèses de variance des calculs de taille d'échantillon étaient-elles erronées dans les petites expériences en ligne, et dans quel sens ?
Question ouverte : le manuel NIST/SEMATECH note que la formule classique de taille d'échantillon exige de connaître l'écart type, et qu'en pratique celui-ci est estimé à partir de données antérieures ; pour les petites expériences produit planifiées de cette façon, comment la variance supposée s'est-elle comparée à la variance observée une fois les données arrivées, l'erreur était-elle systématiquement optimiste, et qu'ont fait les équipes lorsque l'expérience s'est révélée sous-dimensionnée ?
-
Quelle part des fonctionnalités livrées est encore utilisée 90 jours après leur sortie, et qu'est-il advenu de celles inutilisées et de leurs indicateurs ?
Question ouverte : les outils de feature flags comme Unleash associent une durée de vie attendue à un indicateur et le marquent potentiellement obsolète une fois cette durée dépassée, ce qui couvre l'indicateur mais pas la fonctionnalité ; pour les produits qui suivent l'usage des fonctionnalités, quelle part des fonctionnalités publiées en un an avait un usage significatif après 90 jours, qu'est-il advenu du reste (supprimé, masqué, conservé), et leurs indicateurs et leur code ont-ils suivi ?
Lisible par machine : JSON