Тема: deep-learning
-
Накопление градиентов: эффективные батчи с правильной нормировкой
Накопление градиентов микробатчей сокращает память активаций, если сохранить веса потерь, границы обновлений и порядок обрезки; увеличенный эффективный батч не всегда эквивалентен одному физическому батчу.
-
Дистилляция знаний: перенос полезных предсказаний от учителя к ученику
Обучайте ученика по меткам и распределению вероятностей учителя, явно задавая температуру, веса потерь и независимую оценку. Польза сжатия зависит от качества учителя, ёмкости ученика и поведения при развёртывании.
-
LoRA: низкоранговая адаптация и реальные границы экономии памяти
LoRA обучает низкоранговое обновление, оставляя базовые веса фиксированными. Она уменьшает число обучаемых параметров и их состояния оптимизатора, но базовая модель, активации и совместимость развёртывания остаются важны.
-
Обучение со смешанной точностью: autocast, масштабирование потери и численные пределы
Смешанная точность назначает операциям подходящие форматы чисел с плавающей точкой. Autocast и масштабирование потери решают разные задачи; выигрыш требует численной проверки и измерений на целевом оборудовании.
-
AdamW: почему отделённое уменьшение весов отличается от штрафа L2
AdamW уменьшает параметры отдельно от адаптивного обновления градиента. Уменьшение весов не попадает в моменты Adam, но скорость обучения, число обновлений и группы параметров по-прежнему влияют на регуляризацию.
-
Глубокие ансамбли: предиктивная неопределённость и общие слепые зоны
Объединяйте отдельно обученные сети, отличайте внутримодельную дисперсию от разногласия и оценивайте качество вероятностей и эксплуатационные затраты при реалистичных сдвигах.
Машиночитаемо: JSON