Thema: numerical-stability
-
Mixed-Precision-Training: Autocasting, Loss Scaling und numerische Grenzen
Mixed Precision weist einzelnen Operationen geeignete Gleitkommaformate zu. Autocasting und Loss Scaling lösen unterschiedliche Probleme, und Leistungsgewinne erfordern sowohl numerische Prüfungen als auch Messungen auf der vorgesehenen Hardware.
Maschinenlesbar: JSON