Tema: deep-learning
-
Acumulación de gradientes: lotes efectivos sin perder la normalización correcta
Acumular los gradientes de varios microlotes para reducir la memoria de activaciones, conservando la ponderación de la pérdida, los límites del optimizador y el orden del clipping; un lote efectivo mayor no siempre equivale a un único lote físico.
-
Destilación de conocimiento: transferir predicciones útiles del modelo maestro al modelo estudiante
Se entrena al estudiante con las etiquetas y con la distribución de probabilidad del maestro, fijando de forma explícita la temperatura y la ponderación de la pérdida, y evaluando de manera independiente. Los beneficios de la compresión dependen de la calidad del maestro, de la capacidad del estudiante y del comportamiento en producción.
-
LoRA: adaptación de bajo rango y qué cubre realmente su ahorro de memoria
LoRA aprende una actualización de bajo rango mientras mantiene congelados los pesos base. Reduce los parámetros entrenables y su estado del optimizador, pero el modelo base, las activaciones y la compatibilidad de despliegue siguen contando.
-
Entrenamiento con precisión mixta: autocasting, escalado de la pérdida y límites numéricos
La precisión mixta asigna a cada operación un formato de punto flotante adecuado. El autocasting y el escalado de la pérdida resuelven problemas distintos, y para obtener mejoras de rendimiento hacen falta tanto comprobaciones numéricas como mediciones en el hardware previsto.
-
AdamW: por qué el weight decay desacoplado difiere de una penalización L2
AdamW reduce los parámetros de forma independiente de la actualización adaptativa del gradiente. Así el término de decay no entra en las estimaciones de momentos de Adam, aunque la tasa de aprendizaje, el número de actualizaciones y los grupos de parámetros siguen influyendo en la regularización.
-
Ensembles profundos: incertidumbre predictiva y puntos ciegos compartidos
Cómo combinar redes entrenadas de forma independiente, distinguir la varianza dentro de cada modelo del desacuerdo entre ellos y evaluar la calidad de las probabilidades y el coste operativo bajo cambios de distribución realistas.
Legible por máquina: JSON