Knowledge Distillation: nützliche Vorhersagen vom Teacher auf den Student übertragen

Worum es geht

Knowledge Distillation nutzt ein Teacher-Modell, um ein Student-Modell anzuleiten. Der Student ist oft kleiner, das entscheidende Merkmal ist jedoch das zusätzliche Trainingssignal, nicht die Modellgrösse. Bei der klassischen Klassifikations-Distillation liefert der Teacher statt nur eines Gewinnerlabels eine Verteilung über die Klassen und macht so Beziehungen zwischen den Alternativen sichtbar. [1]

Funktionsweise

Die Logits von Teacher und Student vor dem Softmax durch eine Temperatur T teilen. Eine höhere Temperatur glättet die Verteilungen. Ein verbreitetes Zielkriterium ist L = (1-alpha)*CE(y, p_s) + alpha*T^2*KL(p_t(T) || p_s(T)). Dabei verwendet p_s im Label-Term die Temperatur 1; der Distillationsterm vergleicht beide Modelle bei demselben T. Alpha steuert das relative Gewicht der beiden Terme. Die Multiplikation mit T² gleicht die temperaturbedingte Skalierung der Gradienten näherungsweise aus; sie garantiert nicht, dass sich jede Temperatur gleich verhält. [1][2]

Praktischer Ablauf

Getrennte Trainings-, Validierungs- und Testdaten bereitstellen. Der Teacher darf keine Informationen aus dem Testset in das Training des Students einbringen. Den Teacher einfrieren, für gewöhnliche Offline-Distillation den Evaluationsmodus verwenden und das Speichern seiner Gradienten vermeiden. Teacher und Student mit einander entsprechenden Eingaben und kompatibler Klassenreihenfolge speisen. [2]

Eine Student-Baseline wählen, die nur mit Labels trainiert wird, und anschliessend Temperatur und Verlustgewichte auf den Validierungsdaten abstimmen. Die KL-Divergenz gemäss der Konvention der verwendeten Bibliothek für Wahrscheinlichkeiten bzw. Log-Wahrscheinlichkeiten implementieren, mit dokumentierter Reduktion über Klassen und Beispiele. Das finale Testset bis zum Abschluss der Auswahl unangetastet lassen. Teacher-Version, Preprocessing, Transferdaten und Student-Architektur festhalten.

Anschauliches Beispiel

Ein beispielhafter Teacher für Support-Tickets vergibt für shipping 0.70, für refund 0.25 und für account 0.05. Ein hartes Label shipping verbirgt den Unterschied zwischen den beiden Alternativen; die Verteilung zeigt, dass refund die näher liegende konkurrierende Deutung ist. Ein Student kann diese Struktur lernen und dennoch das korrekte Label lernen. Die gewählten Wahrscheinlichkeiten veranschaulichen die Idee; sie geben weder eine Leistung noch eine bestimmte Temperaturtransformation wieder.

Grenzen und Überprüfung

Ein Teacher kann Fehler und Verzerrungen (Bias) weitergeben. Ein sehr kleiner Student verfügt möglicherweise nicht über die Kapazität, nützliche Unterscheidungen nachzubilden, und bei einem Domain Shift können selbstsichere Ausgaben des Teachers irreführend sein. Übereinstimmende Verteilungen belegen daher für sich genommen keine bessere Aufgabenleistung. [1][2] Bei unterschiedlichen Label-Räumen oder Token-Vokabularen ist ein explizites Abgleichsverfahren nötig; das einfache klassenweise Zielkriterium lässt sich nicht automatisch anwenden.

Den distillierten Student, den nur mit Labels trainierten Student und den Teacher anhand unabhängiger Aufgabenmetriken, relevanter Teilgruppen, Latenz und Speicherbedarf vergleichen. Das Verhalten mit dem im Einsatz verwendeten Preprocessing und den tatsächlichen Ausgaben evaluieren, nicht nur den Trainingsverlust. Für diesen Artikel wurde weder ein eigenes Distillationsexperiment noch ein Kompressions-Benchmark durchgeführt.

Quellen

[1] Hinton, Vinyals and Dean: Distilling the Knowledge in a Neural Network [2] PyTorch: Knowledge Distillation Tutorial