Thema: deep-learning
-
Gradient Accumulation: effektive Batches ohne Verlust der korrekten Normalisierung
Gradienten mehrerer Microbatches akkumulieren, um Aktivierungsspeicher zu sparen, ohne Loss-Gewichtung, Optimizer-Grenzen und Reihenfolge des Clippings zu verfälschen. Ein grösserer effektiver Batch entspricht nicht in jedem Fall einem einzelnen physischen Batch.
-
Knowledge Distillation: nützliche Vorhersagen vom Teacher auf den Student übertragen
Der Student wird sowohl mit Labels als auch mit der Wahrscheinlichkeitsverteilung eines Teachers trainiert, mit explizit gewählter Temperatur, Verlustgewichtung und unabhängiger Evaluation. Der Nutzen der Kompression hängt von der Teacher-Qualität, der Kapazität des Students und dem Verhalten im Einsatz ab.
-
LoRA: Low-Rank Adaptation und was die Speichereinsparungen tatsächlich abdecken
LoRA lernt ein niedrigrangiges Update und hält die Basisgewichte eingefroren. Das verringert die trainierbaren Parameter und deren Optimizer-Zustand, doch Basismodell, Aktivierungen und Kompatibilität beim Deployment bleiben relevant.
-
Mixed-Precision-Training: Autocasting, Loss Scaling und numerische Grenzen
Mixed Precision weist einzelnen Operationen geeignete Gleitkommaformate zu. Autocasting und Loss Scaling lösen unterschiedliche Probleme, und Leistungsgewinne erfordern sowohl numerische Prüfungen als auch Messungen auf der vorgesehenen Hardware.
-
AdamW: Warum sich entkoppelter Weight Decay von einem L2-Strafterm unterscheidet
AdamW verkleinert die Parameter getrennt vom adaptiven Gradientenschritt, sodass der Decay-Term nicht in Adams Momentschätzungen einfliesst. Lernrate, Anzahl der Updates und die Wahl der Parametergruppen beeinflussen die Regularisierung dennoch.
-
Deep Ensembles: prädiktive Unsicherheit und gemeinsame blinde Flecken
Unabhängig trainierte neuronale Netze werden kombiniert, Varianz innerhalb der Modelle und Uneinigkeit zwischen ihnen getrennt betrachtet und die Qualität der Wahrscheinlichkeiten sowie der Betriebsaufwand unter realistischen Verteilungsverschiebungen bewertet.
Maschinenlesbar: JSON