Destilación de conocimiento: transferir predicciones útiles del modelo maestro al modelo estudiante

Qué es

La destilación de conocimiento usa un modelo maestro (teacher) para guiar a un modelo estudiante (student). Con frecuencia el estudiante es más pequeño, pero lo que define la técnica es la señal de entrenamiento adicional, no el tamaño del modelo. En la destilación clásica para clasificación, el maestro aporta una distribución sobre las clases en lugar de una única etiqueta ganadora, lo que deja ver las relaciones entre las alternativas. [1]

Cómo funciona

Se dividen los logits del maestro y del estudiante entre una temperatura T antes del softmax. Una temperatura más alta suaviza las distribuciones. Un objetivo habitual es L = (1-alpha)*CE(y, p_s) + alpha*T^2*KL(p_t(T) || p_s(T)). En el término de la etiqueta, p_s usa temperatura 1; el término de destilación compara ambos modelos con la misma T. Alpha controla el peso relativo de los dos términos. Multiplicar por T al cuadrado compensa de forma aproximada el escalado del gradiente asociado a la temperatura; no garantiza que todas las temperaturas se comporten igual. [1][2]

Flujo de trabajo práctico

Hay que establecer conjuntos de datos separados de entrenamiento, validación y prueba. El maestro no debe introducir información del conjunto de prueba en el entrenamiento del estudiante. Se congela el maestro, se usa el modo de evaluación en la destilación offline habitual y se evita almacenar sus gradientes. Se alimenta al maestro y al estudiante con entradas correspondientes y con un orden de clases compatible. [2]

Se elige como referencia un estudiante entrenado solo con etiquetas y después se ajustan la temperatura y los pesos de la pérdida con los datos de validación. La divergencia KL se implementa con la convención de probabilidades o log-probabilidades que exija la biblioteca y con una reducción documentada sobre clases y ejemplos. El conjunto de prueba final no se toca hasta terminar la selección. Se registran la versión del maestro, el preprocesamiento, los datos de transferencia y la arquitectura del estudiante.

Ejemplo ilustrativo

Un maestro ilustrativo para tickets de soporte asigna envío 0,70, reembolso 0,25 y cuenta 0,05. Una etiqueta dura «envío» oculta la diferencia entre las otras dos alternativas; la distribución indica que reembolso es la interpretación competidora más cercana. Un estudiante puede aprender esa estructura sin dejar de aprender la etiqueta verdadera. Estas probabilidades se eligieron para ilustrar la idea y no reflejan un rendimiento medido ni una transformación concreta por temperatura.

Límites y verificación

Un maestro puede transmitir errores y sesgos. Un estudiante muy pequeño puede carecer de la capacidad para reproducir distinciones útiles, y un cambio de dominio puede hacer que las salidas con alta confianza del maestro resulten engañosas. Por tanto, que las distribuciones coincidan no demuestra por sí mismo un mejor rendimiento en la tarea. [1][2] Si los espacios de etiquetas o los vocabularios de tokens son distintos, se necesita un método de alineación explícito; el objetivo simple por clase no se aplica automáticamente.

Se comparan el estudiante destilado, el estudiante entrenado solo con etiquetas y el maestro con métricas de la tarea evaluadas de forma independiente, además de subgrupos relevantes, latencia y memoria. Hay que evaluar el preprocesamiento y el comportamiento de salida tal como se usarán en producción, no solo la pérdida de entrenamiento. Para este artículo no se realizó ningún experimento local de destilación ni ninguna prueba comparativa de compresión.

Fuentes

[1] Hinton, Vinyals and Dean: Distilling the Knowledge in a Neural Network [2] PyTorch: Knowledge Distillation Tutorial