AdamW: Warum sich entkoppelter Weight Decay von einem L2-Strafterm unterscheidet

Worum es geht

AdamW kombiniert die adaptive Optimierung von Adam mit entkoppeltem Weight Decay. Für den Optimierungsschritt werden Momentschätzungen des Gradienten geführt, während ausgewählte Parameter separat verkleinert werden. Die Unterscheidung ist wichtig, weil ein L2-Strafterm in der Verlustfunktion bei einem adaptiven Optimierer in der Regel nicht dem Weight Decay entspricht. [1][2]

Funktionsweise

Ein Strafterm aus lambda/2 mal der quadrierten Parameternorm trägt lambda mal den Parameter zum Gradienten bei. Bei gewöhnlichem SGD ohne Momentum lässt sich dieser Term bei passenden Koeffizientenkonventionen als proportionale Verkleinerung der Parameter schreiben. Bei Adam fliesst der zusätzliche Term dagegen sowohl in beide Momentschätzungen als auch in deren koordinatenspezifische Skalierung ein. AdamW hält den Decay aus diesen Schätzungen heraus. [1]

Ein vereinfachter AdamW-Schritt lautet theta <- (1 - eta*lambda)*theta - eta*u, wobei eta die Lernrate, lambda der Decay-Koeffizient und u der biaskorrigierte adaptive Gradiententerm ist. In PyTorch hängt der Decay weiterhin von der Lernrate ab. Entkopplung bedeutet nicht, dass die Verkleinerung vom Lernraten-Schedule unabhängig wäre. [2]

Praktisches Vorgehen

Parametergruppen explizit definieren und festhalten, welche Gewichte Decay erhalten. Biases oder Normalisierungsparameter auszuschliessen ist eine Modellierungsentscheidung, die zu validieren ist, und kein allgemeingültiges Gesetz. Einen L2-Term in der Verlustfunktion nicht versehentlich zusätzlich zum Decay von AdamW einführen. Beim Vergleich von Alternativen Datensplits und Bewertungskriterien konstant halten.

Lernrate und Decay im Hinblick auf die Trainingsdauer abstimmen. Eine Änderung der Gradient Accumulation verändert bei gleicher Anzahl Beispiele die Anzahl der Optimierungsschritte und damit auch, wie oft der Decay angewendet wird. Beim Wiederaufnehmen des Trainings Optimizer-Zustand und Schedule mitspeichern; die Gewichte allein stellen Adams Verlauf nicht wieder her. [2]

Veranschaulichendes Beispiel

Ein Parameter habe aktuell den Wert 2, eta sei 0.01 und lambda 0.1. Der Decay-Beitrag subtrahiert 0.002, sodass vor dem adaptiven Gradientenbeitrag 1.998 übrig bleibt. Halbiert man eta, halbiert sich auch diese Verkleinerung im jeweiligen Schritt. Die gewählten Werte dienen nur der Veranschaulichung der Gleichung; sie sind weder empfohlene Hyperparameter noch ein experimentelles Ergebnis.

Grenzen und Überprüfung

AdamW garantiert nicht für jedes Modell und jeden Datensatz eine bessere Generalisierung. Ein starker Decay kann zu Underfitting führen, und ein Decay von null bleibt ein legitimer Vergleichsfall. Die Ergebnisse der Originalarbeit belegen das Verhalten in den dort untersuchten Konfigurationen, nicht aber eine allgemeingültige Rangfolge. [1]

Die tatsächliche Optimizer-Konfiguration, die Gruppenzugehörigkeit, die Anzahl der Updates und die Validierungskurven prüfen. Bei gleichem Trainingsbudget vergleichen und sowohl Vorhersagequalität als auch Stabilität berichten. Die hier vorgeschlagenen Prüfungen wurden für diesen Artikel nicht durchgeführt; ein eigener Benchmark wird nicht beansprucht.

Quellen

[1] Loshchilov and Hutter: Decoupled Weight Decay Regularization [2] PyTorch: AdamW