Sujet : numerical-stability
-
Entraînement en précision mixte : autocasting, loss scaling et limites numériques
La précision mixte attribue à chaque opération un format à virgule flottante adapté. L'autocasting et le loss scaling répondent à des problèmes distincts, et les gains de performance exigent à la fois des vérifications numériques et des mesures sur le matériel visé.
Lisible par machine : JSON