Tema: training
-
Acumulación de gradientes: lotes efectivos sin perder la normalización correcta
Acumular los gradientes de varios microlotes para reducir la memoria de activaciones, conservando la ponderación de la pérdida, los límites del optimizador y el orden del clipping; un lote efectivo mayor no siempre equivale a un único lote físico.
-
Destilación de conocimiento: transferir predicciones útiles del modelo maestro al modelo estudiante
Se entrena al estudiante con las etiquetas y con la distribución de probabilidad del maestro, fijando de forma explícita la temperatura y la ponderación de la pérdida, y evaluando de manera independiente. Los beneficios de la compresión dependen de la calidad del maestro, de la capacidad del estudiante y del comportamiento en producción.
-
Entrenamiento con precisión mixta: autocasting, escalado de la pérdida y límites numéricos
La precisión mixta asigna a cada operación un formato de punto flotante adecuado. El autocasting y el escalado de la pérdida resuelven problemas distintos, y para obtener mejoras de rendimiento hacen falta tanto comprobaciones numéricas como mediciones en el hardware previsto.
Legible por máquina: JSON