AdamW: почему отделённое уменьшение весов отличается от штрафа L2

Определение

AdamW сочетает адаптивную оптимизацию Adam с отделённым уменьшением весов. Он поддерживает оценки моментов градиента для шага оптимизации и отдельно уменьшает выбранные параметры. Это существенно: добавление штрафа L2 к потере обычно не эквивалентно уменьшению весов при адаптивном оптимизаторе. [1][2]

Принцип работы

Штраф lambda/2, умноженный на квадрат нормы параметров, добавляет к градиенту lambda, умноженную на параметр. В обычном SGD без momentum этот член можно записать как пропорциональное уменьшение параметра при согласованных коэффициентах. Однако в Adam он входит в обе оценки моментов и их покоординатное масштабирование. AdamW исключает уменьшение весов из этих оценок. [1]

Упрощённый шаг: theta <- (1 - eta*lambda)*theta - eta*u, где eta — скорость обучения, lambda — коэффициент уменьшения весов, u — адаптивный градиентный член с поправкой на смещение инициализации. В PyTorch уменьшение по-прежнему зависит от скорости обучения. Отделение не означает независимость от её расписания. [2]

Практический порядок действий

Явно задайте группы параметров и запишите, какие веса уменьшаются. Исключение смещений или параметров нормализации — проверяемое решение моделирования, а не универсальное правило. Не добавляйте непреднамеренно штраф L2 поверх уменьшения весов AdamW. При сравнении сохраняйте разбиения данных и критерии оценки.

Настраивайте скорость и уменьшение с учётом длительности обучения. Изменение накопления градиентов меняет число обновлений на фиксированное число примеров, а значит, частоту уменьшения весов. Для возобновления сохраняйте состояние оптимизатора и расписание: одни веса не восстанавливают историю Adam. [2]

Наглядный пример

Пусть параметр равен 2, eta = 0.01, lambda = 0.1. Уменьшение весов вычитает 0.002, оставляя 1.998 до адаптивного градиентного вклада. Уменьшение eta вдвое вдвое сокращает этот вклад на данном шаге. Числа иллюстрируют формулу, а не рекомендуют гиперпараметры и не описывают экспериментальный результат.

Ограничения и проверка

AdamW не гарантирует лучшую обобщающую способность для каждой модели и выборки. Сильное уменьшение весов может вызвать недообучение, а нулевое остаётся допустимым вариантом сравнения. Результаты исходной статьи относятся к изученным условиям, а не задают универсальный рейтинг. [1]

Проверьте фактическую конфигурацию, группы, число обновлений и кривые валидации. Сравнивайте одинаковые бюджеты обучения и сообщайте качество прогнозов вместе со стабильностью. Предложенные проверки для этой статьи не выполнялись; локальный бенчмарк не заявляется.

Источники

[1] Loshchilov and Hutter: Decoupled Weight Decay Regularization [2] PyTorch: AdamW