Cuantización posentrenamiento frente a entrenamiento consciente de la cuantización: cómo elegir y verificar un modelo más pequeño

Qué es

La cuantización representa los valores de un modelo con menos bits o con menos niveles numéricos disponibles. La cuantización posentrenamiento (PTQ, por sus siglas en inglés) aplica la conversión una vez terminado el entrenamiento. El entrenamiento consciente de la cuantización (QAT) emula la cuantización de inferencia durante un entrenamiento adicional, de modo que los parámetros puedan adaptarse a sus errores; una conversión posterior produce el modelo cuantizado desplegable. El modelo de entrenamiento de QAT no es, por sí mismo, un ejecutable que opere solo con enteros. [1][2]

Cómo funciona

En la cuantización entera afín simple, q = clip(round(x/s) + z, qmin, qmax) y x_hat = s*(q-z), donde s es una escala positiva y z un punto cero entero. El redondeo introduce un error de aproximación; el recorte (clipping) satura los valores que quedan fuera del rango admitido. Con un ancho de bits fijo, ampliar el rango representado reduce el recorte, pero aumenta el espaciado entre valores adyacentes.

La cuantización estática de activaciones estima los rangos a partir de entradas de calibración representativas. La cuantización dinámica puede determinar los rangos de activación durante la inferencia, mientras que la conversión solo de pesos o a FP16 tiene requisitos distintos. No conviene describir todos estos enfoques como ejecución totalmente entera. [1][3]

Flujo de trabajo práctico

Primero, exporta y evalúa un modelo en coma flotante para distinguir los problemas de conversión de los de cuantización. Después, prueba un esquema de PTQ compatible con el entorno de ejecución y el hardware previstos. Para la calibración estática, selecciona un subconjunto representativo de los datos de entrenamiento, con el preprocesamiento de producción, las formas de entrada y las condiciones de operación relevantes. La calibración habitual de activaciones usa entradas y no requiere sus etiquetas. Reserva datos de evaluación independientes para las comprobaciones de aceptación. [3]

Si la PTQ no alcanza el objetivo de calidad exigido, investiga la calibración y las operaciones sensibles antes de plantear la QAT. La QAT requiere un pipeline de entrenamiento operativo y cómputo adicional. Tras la QAT, vuelve a convertir y evalúa el artefacto exportado; la simulación de entrenamiento por sí sola no demuestra el comportamiento en el despliegue. [2]

Ejemplo ilustrativo

En una cuadrícula ilustrativa con s = 0.1 y z = 0, x = 0.26 pasa a ser el entero 3 y se reconstruye como 0.3, lo que da un error absoluto de 0.04 cuando el recorte no interviene. Los cálculos repetidos capa a capa pueden amplificar o reducir el efecto de estos errores en las salidas. Estos números muestran únicamente el redondeo; no permiten predecir la pérdida de precisión de un modelo.

Límites y verificación

Mide la calidad en la tarea, el comportamiento en los subgrupos relevantes, la latencia, el pico de memoria y el tamaño del artefacto en el dispositivo de destino. Comprueba la compatibilidad de operadores, los tipos de entrada y salida y los recursos de reserva en coma flotante: que la conversión tenga éxito no demuestra una ejecución solo con enteros ni una mejora de velocidad. [3] Las activaciones con muchos valores atípicos y una calibración poco representativa pueden causar un error considerable. La QAT puede mejorar la robustez frente a la cuantización, pero no garantiza recuperar la calidad original. [2]

Documenta los anchos de bits, la escala por tensor o por canal, los datos de calibración, las versiones del conversor y del entorno de ejecución, y los umbrales de aceptación. Para este artículo no se realizó ningún experimento local de cuantización ni ninguna prueba de rendimiento en hardware.

Fuentes

[1] TensorFlow: Post-training quantization [2] TensorFlow: Quantization aware training [3] Google AI Edge: Post-training quantization