Thema: model-compression
-
Knowledge Distillation: nützliche Vorhersagen vom Teacher auf den Student übertragen
Der Student wird sowohl mit Labels als auch mit der Wahrscheinlichkeitsverteilung eines Teachers trainiert, mit explizit gewählter Temperatur, Verlustgewichtung und unabhängiger Evaluation. Der Nutzen der Kompression hängt von der Teacher-Qualität, der Kapazität des Students und dem Verhalten im Einsatz ab.
-
Post-Training-Quantisierung versus Quantization-Aware Training: ein kleineres Modell wählen und überprüfen
PTQ konvertiert ein bereits trainiertes Modell; bei QAT passt sich das Training an simulierte Quantisierungsfehler an. Kalibrierungsqualität, unterstützte Operatoren und die gemessene Genauigkeit des exportierten Modells zählen mehr als die blosse Angabe der Bitbreite.
Maschinenlesbar: JSON