Tema: numerical-stability
-
Entrenamiento con precisión mixta: autocasting, escalado de la pérdida y límites numéricos
La precisión mixta asigna a cada operación un formato de punto flotante adecuado. El autocasting y el escalado de la pérdida resuelven problemas distintos, y para obtener mejoras de rendimiento hacen falta tanto comprobaciones numéricas como mediciones en el hardware previsto.
Legible por máquina: JSON