Tema: model-compression
-
Destilación de conocimiento: transferir predicciones útiles del modelo maestro al modelo estudiante
Se entrena al estudiante con las etiquetas y con la distribución de probabilidad del maestro, fijando de forma explícita la temperatura y la ponderación de la pérdida, y evaluando de manera independiente. Los beneficios de la compresión dependen de la calidad del maestro, de la capacidad del estudiante y del comportamiento en producción.
-
Cuantización posentrenamiento frente a entrenamiento consciente de la cuantización: cómo elegir y verificar un modelo más pequeño
La PTQ convierte un modelo ya entrenado; la QAT permite que el entrenamiento se adapte al error de cuantización simulado. La calidad de la calibración, los operadores compatibles y la precisión medida del modelo exportado importan más que la etiqueta del ancho de bits por sí sola.
Legible por máquina: JSON