Thema: regularization
-
Early Stopping: Patience, Validierung und Wiederherstellung der besten Gewichte
Die Stoppepoche als Modellauswahl behandeln, ein separates Validierungssignal überwachen und die zuletzt trainierten Gewichte von den besten beobachteten Gewichten unterscheiden.
-
AdamW: Warum sich entkoppelter Weight Decay von einem L2-Strafterm unterscheidet
AdamW verkleinert die Parameter getrennt vom adaptiven Gradientenschritt, sodass der Decay-Term nicht in Adams Momentschätzungen einfliesst. Lernrate, Anzahl der Updates und die Wahl der Parametergruppen beeinflussen die Regularisierung dennoch.
Maschinenlesbar: JSON