Тема: regularization
-
Ранняя остановка: patience, валидация и восстановление лучших весов
Считайте эпоху остановки выбором модели, отслеживайте отдельный валидационный сигнал и различайте последние обученные веса и лучшие наблюдавшиеся веса.
-
AdamW: почему отделённое уменьшение весов отличается от штрафа L2
AdamW уменьшает параметры отдельно от адаптивного обновления градиента. Уменьшение весов не попадает в моменты Adam, но скорость обучения, число обновлений и группы параметров по-прежнему влияют на регуляризацию.
Машиночитаемо: JSON