Federated Averaging: локальное обучение, веса клиентов и неоднородные данные

Что означает Federated Averaging

Федеративное обучение координирует обучение модели, оставляя обучающие записи распределёнными между клиентами. В Federated Averaging, или FedAvg, клиенты обучают локальные копии общей модели, а сервер агрегирует полученные параметры или обновления. Исходный метод учитывает ограниченные коммуникации и различающиеся по объёму и распределению клиентские данные. [1]

Базовый раунд обучения

Сервер передаёт текущую модель участвующим клиентам. Каждый начинает с этой же модели и выполняет заданный объём локальной оптимизации. Затем сервер агрегирует полученные модели, обычно взвешивая их по числу обучающих примеров, внесённых каждым клиентом. Следующий раунд начинается с агрегата. Архитектура, порядок параметров и смысл признаков должны совпадать; это не произвольное усреднение независимо спроектированных сетей. [1]

Построение оценки

Практическая оценка фиксирует правила выбора клиентов, локальные эпохи, размер пакета, темп обучения, веса агрегации, неудачные и запоздалые ответы. Число раундов связи, переданные байты и качество модели сравнивают вместе. Меньшее число раундов всё равно может означать больше времени, если возрастает локальная работа или размер сообщений.

При оценке сохраняют реалистичное разделение по клиентам. Помимо качества, взвешенного по примерам, приводят результаты на уровне клиентов с числом наблюдений. Такой предлагаемый формат отчёта показывает, не достаётся ли глобальное улучшение в основном самым крупным клиентам.

Иллюстративный пример весов

Участвуют все три клиента с 100, 300 и 600 одинаково взвешенными обучающими примерами. Их нормированные веса равны 0.1, 0.3 и 0.6. Для одного параметра локальные значения 1, 3 и 5 дают 0.1*1 + 0.3*3 + 0.6*5 = 4.0.

При одинаковом весе каждого клиента среднее было бы 3.0, что соответствует другой схеме взвешивания. Ни одно число не доказывает качество прогнозов. Расчёт лишь иллюстрирует агрегацию; это не результат обучения и не довод в пользу того, чтобы крупные клиенты всегда доминировали в целевой функции.

Ограничения и конфиденциальность

Клиенты могут различаться частотами классов, распределениями признаков, связями с метками и доступностью. Такая неоднородность может направлять локальные обновления в разные стороны. Увеличение локального обучения меняет компромисс между связью и оптимизацией и не является универсальным улучшением. [2]

Локальное хранение исходных данных не делает обновления безвредными. Защищённая агрегация может скрывать отдельные вклады от сервера при выполнении предпосылок протокола, но агрегат и опубликованная модель всё ещё могут раскрывать информацию. Дифференциальная приватность требует дополнительного заданного механизма и учёта бюджета приватности; она не возникает автоматически из FedAvg. [2] Здесь не заявляются эксперимент федеративного обучения, доказательство конфиденциальности или эксплуатационный benchmark.

Источники

[1] Communication-Efficient Learning of Deep Networks from Decentralized Data

[2] Advances and Open Problems in Federated Learning