Distillation de connaissances : transférer les prédictions utiles d'un modèle enseignant vers un modèle élève

Ce que c'est

La distillation de connaissances utilise un modèle enseignant pour guider un modèle élève. L'élève est souvent plus petit, mais ce qui définit la méthode est le signal d'entraînement supplémentaire, pas la taille du modèle. Dans la distillation classique pour la classification, l'enseignant fournit une distribution sur les classes plutôt qu'une seule étiquette gagnante, ce qui met en évidence les relations entre les alternatives. [1]

Fonctionnement

On divise les logits de l'enseignant et de l'élève par une température T avant le softmax. Plus la température est élevée, plus les distributions sont lissées. Un objectif courant est L = (1-alpha)*CE(y, p_s) + alpha*T^2*KL(p_t(T) || p_s(T)). Ici, p_s dans le terme portant sur les étiquettes utilise une température de 1 ; le terme de distillation compare les deux modèles à la même température T. Alpha règle le poids relatif des deux termes. La multiplication par T au carré compense approximativement la mise à l'échelle des gradients liée à la température ; elle ne garantit pas que toutes les températures se comportent de la même manière. [1][2]

Déroulement pratique

Constituer des jeux de données distincts pour l'entraînement, la validation et le test. L'enseignant ne doit pas introduire d'information du jeu de test dans l'entraînement de l'élève. Geler l'enseignant, le placer en mode évaluation pour une distillation hors ligne ordinaire et éviter de stocker ses gradients. Fournir à l'enseignant et à l'élève des entrées correspondantes, avec un ordre des classes compatible. [2]

Commencer par un élève de référence entraîné uniquement sur les étiquettes, puis ajuster la température et les poids de la perte sur les données de validation. Implémenter la divergence KL selon la convention de la bibliothèque (probabilités ou log-probabilités) et avec une réduction documentée sur les classes et les exemples. Ne pas toucher au jeu de test final tant que la sélection n'est pas terminée. Consigner la version de l'enseignant, le prétraitement, les données de transfert et l'architecture de l'élève.

Exemple illustratif

Prenons un enseignant de tri de tickets de support qui attribue 0,70 à expédition, 0,25 à remboursement et 0,05 à compte. Une étiquette stricte « expédition » masque la différence entre les deux autres options ; la distribution indique que remboursement est l'interprétation concurrente la plus proche. Un élève peut apprendre cette structure tout en apprenant la vraie étiquette. Ces probabilités ont été choisies pour illustrer l'idée ; elles ne rapportent aucune performance ni aucune transformation particulière par la température.

Limites et vérification

Un enseignant peut transmettre ses erreurs et ses biais. Un élève très petit peut manquer de capacité pour reproduire des distinctions utiles, et un changement de domaine peut rendre trompeuses les sorties confiantes de l'enseignant. Faire correspondre les distributions ne prouve donc pas, en soi, une meilleure performance sur la tâche. [1][2] Si les espaces d'étiquettes ou les vocabulaires de tokens diffèrent, une méthode d'alignement explicite est nécessaire ; l'objectif simple classe par classe ne s'applique pas automatiquement.

Comparer l'élève distillé, l'élève entraîné sur les seules étiquettes et l'enseignant selon des métriques de tâche indépendantes, des sous-groupes pertinents, la latence et la mémoire. Évaluer le prétraitement et le comportement des sorties tels qu'ils seront déployés, et pas seulement la perte d'entraînement. Aucune expérience locale de distillation ni aucun benchmark de compression n'a été réalisé pour cet article.

Sources

[1] Hinton, Vinyals and Dean: Distilling the Knowledge in a Neural Network [2] PyTorch: Knowledge Distillation Tutorial