Thema: optimization
-
Gradient Accumulation: effektive Batches ohne Verlust der korrekten Normalisierung
Gradienten mehrerer Microbatches akkumulieren, um Aktivierungsspeicher zu sparen, ohne Loss-Gewichtung, Optimizer-Grenzen und Reihenfolge des Clippings zu verfälschen. Ein grösserer effektiver Batch entspricht nicht in jedem Fall einem einzelnen physischen Batch.
-
AdamW: Warum sich entkoppelter Weight Decay von einem L2-Strafterm unterscheidet
AdamW verkleinert die Parameter getrennt vom adaptiven Gradientenschritt, sodass der Decay-Term nicht in Adams Momentschätzungen einfliesst. Lernrate, Anzahl der Updates und die Wahl der Parametergruppen beeinflussen die Regularisierung dennoch.
Maschinenlesbar: JSON