Sujet : evaluation
-
Établir une référence avant d’entraîner le premier modèle
Avant d’exécuter un algorithme d’apprentissage, consigner les résultats d’un prédicteur trivial, d’une règle simple et du processus actuel sur la même partition, avec la même métrique. Chaque modèle ultérieur est présenté par son écart à cette référence, et un modèle qui ne fait pas mieux que la règle n’est pas déployé.
-
Changer un comportement par canari avant le déploiement général
Exposer une cohorte bornée à un nouveau comportement, la comparer à une base de référence et l'arrêter selon des conditions d'échec définies à l'avance.
-
Ensembles d'entraînement, de validation et de test : à quoi sert chaque partition et comment la découper
Un modèle est ajusté sur l'ensemble d'entraînement, les choix entre modèles et hyperparamètres se font sur l'ensemble de validation (ou par validation croisée), et l'ensemble de test n'est touché qu'une fois pour l'estimation finale ; la façon dont les lignes sont affectées aux partitions (aléatoire, stratifiée, par groupe, par temps) décide si l'estimation dit quoi que ce soit sur la production.
-
Fuite de données en apprentissage automatique : comment des informations issues du futur ou de l'ensemble de test s'infiltrent dans un modèle
La fuite signifie que le modèle est construit avec des informations qui ne seront pas disponibles au moment de la prédiction : un prétraitement ajusté sur toutes les lignes, des caractéristiques dérivées de la cible, des lignes d'une même entité des deux côtés d'une partition, ou des données ordonnées dans le temps mélangées. Elle produit des scores de validation optimistes et un modèle qui déçoit en production.
-
Les suites de tests d'injection de prompt prédisent-elles le comportement d'un agent face à des injections écrites après la suite ?
Les agents sont souvent évalués face à des collections fixes de tentatives d'injection. On ignore dans quelle mesure un bon score se transpose à de nouvelles formulations, de nouveaux vecteurs et des attaquants adaptatifs, ni ce qu'une suite de tests devrait contenir pour être prédictive.
-
Apprentissage incrémental avec partial_fit : features stables, liste des classes et évaluation honnête
Les estimateurs incrémentaux mettent à jour un modèle à partir de petits lots, sans charger l'ensemble du jeu de données en mémoire. Un workflow fiable doit aussi préserver le sens des features, définir l'ensemble des classes et évaluer les prédictions avant d'apprendre de leurs résultats.
-
Indiquer les unités à côté de chaque mesure
Rendre les enregistrements de mesure interprétables en conservant l'unité, l'agrégation et la population à côté de chaque valeur.
-
Gérer le déséquilibre des classes : d'abord les métriques, puis les pondérations, les seuils et le rééchantillonnage dans le pipeline
Lorsqu'une classe est rare, l'exactitude (accuracy) n'est pas informative et un modèle peut ignorer entièrement la classe minoritaire ; il faut d'abord corriger l'évaluation (découpages stratifiés, métriques par classe, exactitude équilibrée), puis recourir à des pondérations de classe ou à un seuil ajusté, et n'appliquer un rééchantillonnage tel que SMOTE qu'au pli d'entraînement, à l'intérieur du pipeline validé par validation croisée.
-
Choisir des métriques de classification : précision, rappel, F1, seuils et calibration
L'exactitude (accuracy) masque ce qui compte lorsque les classes sont déséquilibrées ou que les erreurs ont des coûts différents ; la précision et le rappel décrivent les deux types d'erreur, F1 les combine, les scores indépendants du seuil décrivent le classement, et la calibration indique si une probabilité prédite de 0,8 signifie réellement 80 pour cent. Choisir la métrique en fonction de la décision que le modèle doit soutenir, avant l'entraînement.
-
Hiérarchiser l'attention de revue de code avec Jev sans noyer les bloqueurs dans une moyenne
Utiliser des dimensions de revue distinctes pour prioriser l'attention humaine, tout en conservant des contrôles obligatoires qu'un score pondéré ne doit jamais outrepasser.
-
Surapprentissage et régularisation en bref : biais, variance et le curseur de pénalité
Un modèle est en surapprentissage lorsqu'il apprend le bruit des lignes d'entraînement et que son score de validation se met à décrocher de son score d'entraînement ; la régularisation échange une part d'ajustement contre de la stabilité en pénalisant les coefficients élevés ou en limitant la capacité du modèle, et les courbes d'apprentissage et de validation indiquent de quel côté du compromis se situe un modèle.
-
Auditer le générateur de candidats avant de juger la qualité de sélection de Jev
Mesurer si l'option correcte a bien atteint une requête de décision avant d'attribuer une sélection erronée au modèle ou de tenter de la corriger par une formulation plus insistante.
-
Validation croisée imbriquée : évaluer le processus de sélection de modèle
Utiliser des plis internes pour le réglage et des plis externes pour l'évaluation, en gardant le prétraitement à l'intérieur des plis et en distinguant la performance de la procédure de celle du modèle final ajusté.
-
Les transmissions structurées, bornées par un schéma, entre agents réduisent le taux de réussite des injections par rapport aux transmissions en texte libre
Hypothèse : lorsqu'un agent qui lit du contenu non fiable ne peut transmettre à l'agent qui agit que des champs validés par un schéma et de longueur bornée, les instructions injectées atteignent l'agent agissant moins souvent que lorsqu'il transmet un texte libre.
-
Comment une fonctionnalité produit reposant sur un modèle de langage devrait-elle être évaluée lorsqu'il n'existe pas de sortie unique correcte ?
Question ouverte : les modèles de classification disposent d'étiquettes et d'une matrice de confusion, mais un résumeur, un assistant ou une étape d'extraction qui renvoie du texte libre n'en dispose d'aucune ; le wiki ne conserve aucune trace de la combinaison, parmi de petits ensembles étiquetés, une notation par grille par des personnes, des évaluateurs fondés sur un modèle et des signaux de production, qui a tenu à travers plusieurs changements de modèle et de prompt, ni de la manière dont l'accord entre évaluateurs a été mesuré.
-
Federated averaging : entraînement local, pondération des clients et données hétérogènes
Le federated averaging agrège des mises à jour de modèle calculées sur des clients distincts. Son comportement dépend de l'entraînement local, des poids d'agrégation et des différences entre clients ; conserver les données brutes en local ne constitue pas en soi une garantie formelle de confidentialité.
Lisible par machine : JSON