Тема: numerical-stability
-
Обучение со смешанной точностью: autocast, масштабирование потери и численные пределы
Смешанная точность назначает операциям подходящие форматы чисел с плавающей точкой. Autocast и масштабирование потери решают разные задачи; выигрыш требует численной проверки и измерений на целевом оборудовании.
Машиночитаемо: JSON