Sujet : machine-learning
-
Attributions SHAP : valeurs de référence, unités de sortie et limites causales
Expliquer une prédiction précise par rapport à une référence déclarée, suivre l'échelle de la sortie et éviter d'interpréter des contributions prédictives comme des effets d'intervention.
-
Arrêt anticipé : patience, validation et restauration des meilleurs poids
Considérer l'epoch d'arrêt comme un choix de modèle, surveiller un signal de validation distinct et différencier les derniers poids entraînés des meilleurs poids observés.
-
Établir une référence avant d’entraîner le premier modèle
Avant d’exécuter un algorithme d’apprentissage, consigner les résultats d’un prédicteur trivial, d’une règle simple et du processus actuel sur la même partition, avec la même métrique. Chaque modèle ultérieur est présenté par son écart à cette référence, et un modèle qui ne fait pas mieux que la règle n’est pas déployé.
-
Mise à l'échelle des variables et encodage des catégories : quoi transformer, et ajuster uniquement sur les données d'entraînement
Les modèles fondés sur les distances ou sur le gradient ont besoin de variables numériques à des échelles comparables (StandardScaler, MinMaxScaler, RobustScaler) ; les colonnes catégorielles deviennent des nombres par encodage one-hot, ordinal ou par cible, selon la cardinalité et le type de modèle. Chaque transformateur est ajusté sur le jeu d'entraînement puis appliqué sans modification aux lignes de validation, de test et de production.
-
Reproductibilité d'une expérience d'apprentissage automatique : graines, environnement, données et limites du déterminisme
Relancer une expérience et obtenir le même chiffre exige des états aléatoires fixés et transmis explicitement, des versions de bibliothèques figées, un jeu de données et un découpage identifiés, ainsi que la conscience que les noyaux GPU et les nouvelles versions de bibliothèques peuvent quand même changer les résultats ; le protocole rend les exécutions reproductibles là où c'est possible et documente les cas où cela ne l'est pas.
-
Ensembles d'entraînement, de validation et de test : à quoi sert chaque partition et comment la découper
Un modèle est ajusté sur l'ensemble d'entraînement, les choix entre modèles et hyperparamètres se font sur l'ensemble de validation (ou par validation croisée), et l'ensemble de test n'est touché qu'une fois pour l'estimation finale ; la façon dont les lignes sont affectées aux partitions (aléatoire, stratifiée, par groupe, par temps) décide si l'estimation dit quoi que ce soit sur la production.
-
Fuite de données en apprentissage automatique : comment des informations issues du futur ou de l'ensemble de test s'infiltrent dans un modèle
La fuite signifie que le modèle est construit avec des informations qui ne seront pas disponibles au moment de la prédiction : un prétraitement ajusté sur toutes les lignes, des caractéristiques dérivées de la cible, des lignes d'une même entité des deux côtés d'une partition, ou des données ordonnées dans le temps mélangées. Elle produit des scores de validation optimistes et un modèle qui déçoit en production.
-
Accumulation de gradients : des lots effectifs sans perdre la bonne normalisation
Accumuler les gradients de micro-lots pour réduire la mémoire d'activations, tout en préservant la pondération de la perte, les frontières de l'optimiseur et l'ordre du clipping ; un lot effectif plus grand n'équivaut pas toujours à un seul lot physique.
-
Label shift : détecter et corriger l'évolution des proportions de classes
Estimer l'évolution des probabilités a priori des classes uniquement sous une hypothèse explicite de label shift, vérifier l'identifiabilité et distinguer l'estimation des a priori de la correction calibrée des probabilités a posteriori.
-
Apprentissage actif par pool : échantillonnage par incertitude sans évaluation biaisée
Sélectionner les exemples les plus informatifs à annoter, conserver un jeu d'évaluation indépendant et représentatif, et mesurer le gain par rapport à un échantillonnage aléatoire à budget d'annotation égal.
-
Distillation de connaissances : transférer les prédictions utiles d'un modèle enseignant vers un modèle élève
L'élève est entraîné à la fois sur les étiquettes et sur la distribution de probabilités de l'enseignant, avec une température, une pondération des termes de perte et une évaluation indépendante explicites. Les gains de compression dépendent de la qualité de l'enseignant, de la capacité de l'élève et du comportement en production.
-
Apprentissage incrémental avec partial_fit : features stables, liste des classes et évaluation honnête
Les estimateurs incrémentaux mettent à jour un modèle à partir de petits lots, sans charger l'ensemble du jeu de données en mémoire. Un workflow fiable doit aussi préserver le sens des features, définir l'ensemble des classes et évaluer les prédictions avant d'apprendre de leurs résultats.
-
Gradient boosting par histogrammes : bins, valeurs manquantes et limites des variables catégorielles
Comment le boosting par histogrammes réduit le coût de la recherche de coupures, gère les entrées manquantes et catégorielles, et arbitre entre résolution numérique et coût d'entraînement.
-
LoRA : adaptation de bas rang et ce que couvrent réellement ses économies de mémoire
LoRA apprend une mise à jour de bas rang en gardant les poids de base figés. Elle réduit le nombre de paramètres entraînables et leur état d'optimiseur, mais le modèle de base, les activations et la compatibilité au déploiement restent à prendre en compte.
-
Gérer le déséquilibre des classes : d'abord les métriques, puis les pondérations, les seuils et le rééchantillonnage dans le pipeline
Lorsqu'une classe est rare, l'exactitude (accuracy) n'est pas informative et un modèle peut ignorer entièrement la classe minoritaire ; il faut d'abord corriger l'évaluation (découpages stratifiés, métriques par classe, exactitude équilibrée), puis recourir à des pondérations de classe ou à un seuil ajusté, et n'appliquer un rééchantillonnage tel que SMOTE qu'au pli d'entraînement, à l'intérieur du pipeline validé par validation croisée.
-
Prédiction conforme fractionnée : intervalles à couverture marginale
Transformer un modèle de régression figé en procédure d'intervalles de prédiction à l'aide de résidus mis de côté, d'un quantile à échantillon fini et d'hypothèses d'échangeabilité clairement énoncées.
-
Choisir des métriques de classification : précision, rappel, F1, seuils et calibration
L'exactitude (accuracy) masque ce qui compte lorsque les classes sont déséquilibrées ou que les erreurs ont des coûts différents ; la précision et le rappel décrivent les deux types d'erreur, F1 les combine, les scores indépendants du seuil décrivent le classement, et la calibration indique si une probabilité prédite de 0,8 signifie réellement 80 pour cent. Choisir la métrique en fonction de la décision que le modèle doit soutenir, avant l'entraînement.
-
Entraînement en précision mixte : autocasting, loss scaling et limites numériques
La précision mixte attribue à chaque opération un format à virgule flottante adapté. L'autocasting et le loss scaling répondent à des problèmes distincts, et les gains de performance exigent à la fois des vérifications numériques et des mesures sur le matériel visé.
-
Les embeddings comme type de données : vecteurs de longueur fixe, fonction de distance, et ce dont une colonne de vecteurs a besoin
Un embedding est un vecteur de flottants de longueur fixe produit par un modèle donné, doté de sens seulement sous la distance pour laquelle ce modèle a été entraîné et seulement à côté de vecteurs issus de la même version de modèle ; le stocker exige de consigner la dimension, l'identifiant du modèle et la distance, et l'interroger signifie une recherche du plus proche voisin, exacte ou approximative.
-
Apprentissage auto-supervisé contrastif : paires, augmentation et effondrement
Apprendre des représentations en comparant des vues liées et des vues contrastées, choisir des transformations qui préservent l'information utile et évaluer les représentations au-delà de la perte d'entraînement.
Lisible par machine : JSON