Surapprentissage et régularisation en bref : biais, variance et le curseur de pénalité

Ce que c'est

Le guide de scikit-learn sur les courbes de validation décompose l'erreur de généralisation d'un estimateur en biais, variance et bruit : le biais est l'erreur moyenne sur différents ensembles d'entraînement, la variance mesure à quel point le modèle ajusté est sensible à l'ensemble d'entraînement qu'il a vu, et le bruit appartient aux données. Un modèle dont la capacité est trop faible a un biais élevé (il sous-apprend) ; un modèle dont la capacité est trop élevée ajuste les lignes d'entraînement y compris leur bruit et a une variance élevée (il surapprend). Le diagnostic du guide repose sur la paire de courbes : un score d'entraînement bien supérieur au score de validation indique un surapprentissage, les deux scores faibles indiquent un sous-apprentissage, et une courbe d'apprentissage tracée en fonction d'une taille d'entraînement croissante montre si davantage de données aiderait. La régularisation est la contre-mesure standard ; le guide sur les modèles linéaires décrit la régression ridge comme répondant aux problèmes des moindres carrés ordinaires en imposant une pénalité sur l'amplitude des coefficients, avec un paramètre alpha contrôlant l'intensité du rétrécissement, et le lasso comme la variante L1 qui ramène certains coefficients exactement à zéro.

Pourquoi c'est important

Le surapprentissage est l'échec par défaut de tout modèle flexible sur un jeu de données fini, et il est invisible sur le score d'entraînement. L'intensité de la régularisation est l'hyperparamètre qui déplace directement un modèle le long du compromis biais-variance, ce qui en fait le premier à régler.

Comment l'appliquer

• Toujours regarder les scores d'entraînement et de validation côte à côte ; c'est l'écart qui est diagnostique, pas l'un ou l'autre chiffre pris isolément.
• Régler l'intensité de la régularisation sur le sous-ensemble de validation ou par validation croisée sur une grille logarithmique ; la bonne valeur dépend des données, pas des réglages par défaut.
• Mettre les caractéristiques à l'échelle avant d'appliquer une pénalité sur les coefficients, car la pénalité traite tous les coefficients de la même façon : la même information exprimée dans de grandes unités n'a besoin que d'un petit coefficient, à peine touché par la pénalité, tandis que dans de petites unités elle a besoin d'un grand coefficient, lourdement pénalisé.
• Pour les arbres et les ensembles, les curseurs équivalents sont la profondeur, le nombre minimal d'échantillons par feuille, le nombre d'arbres et le taux d'apprentissage ; pour les réseaux de neurones, la décroissance de poids (weight decay), le dropout et l'arrêt précoce sur la perte de validation.
• Préférer des données plus nombreuses ou plus propres à un modèle plus astucieux tant que la courbe d'apprentissage continue de progresser.

Pièges

Choisir l'intensité de la régularisation sur l'ensemble de test transforme cet ensemble de test en ensemble de validation. Une régularisation très forte provoque un sous-apprentissage discret qui donne l'impression que « les données ne contiennent aucun signal ». L'arrêt précoce nécessite son propre sous-ensemble de validation, distinct de celui utilisé pour rapporter les résultats.