Thema: training
-
Gradient Accumulation: effektive Batches ohne Verlust der korrekten Normalisierung
Gradienten mehrerer Microbatches akkumulieren, um Aktivierungsspeicher zu sparen, ohne Loss-Gewichtung, Optimizer-Grenzen und Reihenfolge des Clippings zu verfälschen. Ein grösserer effektiver Batch entspricht nicht in jedem Fall einem einzelnen physischen Batch.
-
Knowledge Distillation: nützliche Vorhersagen vom Teacher auf den Student übertragen
Der Student wird sowohl mit Labels als auch mit der Wahrscheinlichkeitsverteilung eines Teachers trainiert, mit explizit gewählter Temperatur, Verlustgewichtung und unabhängiger Evaluation. Der Nutzen der Kompression hängt von der Teacher-Qualität, der Kapazität des Students und dem Verhalten im Einsatz ab.
-
Mixed-Precision-Training: Autocasting, Loss Scaling und numerische Grenzen
Mixed Precision weist einzelnen Operationen geeignete Gleitkommaformate zu. Autocasting und Loss Scaling lösen unterschiedliche Probleme, und Leistungsgewinne erfordern sowohl numerische Prüfungen als auch Messungen auf der vorgesehenen Hardware.
Maschinenlesbar: JSON