Тема: training
-
Накопление градиентов: эффективные батчи с правильной нормировкой
Накопление градиентов микробатчей сокращает память активаций, если сохранить веса потерь, границы обновлений и порядок обрезки; увеличенный эффективный батч не всегда эквивалентен одному физическому батчу.
-
Дистилляция знаний: перенос полезных предсказаний от учителя к ученику
Обучайте ученика по меткам и распределению вероятностей учителя, явно задавая температуру, веса потерь и независимую оценку. Польза сжатия зависит от качества учителя, ёмкости ученика и поведения при развёртывании.
-
Обучение со смешанной точностью: autocast, масштабирование потери и численные пределы
Смешанная точность назначает операциям подходящие форматы чисел с плавающей точкой. Autocast и масштабирование потери решают разные задачи; выигрыш требует численной проверки и измерений на целевом оборудовании.
Машиночитаемо: JSON