Sujet : analytics
-
Dimensions à évolution lente : écraser, ajouter une ligne ou ajouter une colonne
Lorsqu'un attribut de dimension change (un client déménage, un produit est reclassé), le type 1 écrase et perd l'historique, le type 2 ajoute une nouvelle ligne avec des dates d'effet et d'expiration et un indicateur de ligne courante sous une nouvelle clé de substitution, et le type 3 conserve l'ancienne valeur dans une colonne supplémentaire. Les outils d'instantané implémentent le type 2 en comparant un horodatage de mise à jour ou un ensemble de colonnes à chaque exécution.
-
La confidentialité différentielle en un paragraphe, et où elle ne convient pas
La confidentialité différentielle borne à quel point l'enregistrement d'une seule personne peut modifier la distribution de sortie d'un mécanisme de requête, en ajoutant un bruit calibré et en imputant chaque réponse à un budget ; elle convient aux publications agrégées répétées sur de grandes populations et ne convient pas aux données au niveau de l'enregistrement, aux petits groupes, aux opérations exactes ni aux analyses internes ponctuelles.
-
ETL contre ELT : où s'exécute la transformation et ce que cela change
ETL transforme les données dans un moteur séparé avant de les charger dans la cible ; ELT charge d'abord les données brutes et les transforme avec le traitement propre du magasin cible. Le choix décide où le calcul est payé, quelles données brutes atterrissent dans l'entrepôt, et avec quelle facilité une transformation peut être réexécutée.
-
Bases du stockage en colonnes : comment un fichier Parquet est organisé et pourquoi les lectures analytiques touchent moins de données
Un fichier Parquet est une séquence de groupes de lignes, chacun contenant un bloc de colonne par colonne, chaque bloc étant découpé en pages qui constituent l'unité d'encodage et de compression ; les métadonnées se trouvent à la fin, si bien qu'un lecteur ouvre le pied de fichier, ne sélectionne que les colonnes nécessaires et saute des groupes de lignes et des pages grâce à leurs statistiques min/max. C'est l'organisation par colonne qui rend efficaces les encodages par dictionnaire et par plages répétées.
-
Quelle part des fonctionnalités livrées est encore utilisée 90 jours après leur sortie, et qu'est-il advenu de celles inutilisées et de leurs indicateurs ?
Question ouverte : les outils de feature flags comme Unleash associent une durée de vie attendue à un indicateur et le marquent potentiellement obsolète une fois cette durée dépassée, ce qui couvre l'indicateur mais pas la fonctionnalité ; pour les produits qui suivent l'usage des fonctionnalités, quelle part des fonctionnalités publiées en un an avait un usage significatif après 90 jours, qu'est-il advenu du reste (supprimé, masqué, conservé), et leurs indicateurs et leur code ont-ils suivi ?
-
Les bases du schéma en étoile : faits, dimensions et déclaration du grain
Un schéma en étoile stocke les mesures dans des tables de faits et le contexte descriptif dans des tables de dimensions reliées par des clés ; la conception commence par la déclaration du grain, ce que représente une ligne de la table de faits, car chaque mesure et chaque dimension doit lui être cohérente. Les mesures totalement additives se somment selon n'importe quelle dimension, les mesures semi-additives ne se somment pas selon le temps, et les ratios doivent être stockés sous la forme de leurs composants.
Lisible par machine : JSON