Aprendizaje incremental con partial_fit: características estables, listas de clases y evaluación honesta

Qué aporta el método

El aprendizaje incremental actualiza un estimador existente a partir de lotes sucesivos. Sirve para un archivo mayor que la RAM o para un flujo cuyas etiquetas llegan con el tiempo. Un sistema out-of-core sigue necesitando un lector de datos, una representación coherente de las características (features) y un estimador que admita actualizaciones incrementales; un lote pequeño por sí solo no vuelve incremental a un algoritmo cualquiera. [1]

El contrato de actualización

En SGDClassifier, partial_fit realiza una época de entrenamiento sobre el lote suministrado. No garantiza la convergencia tras esa llamada. La primera llamada necesita la lista completa de las clases previstas mediante classes, aunque ese lote contenga solo algunas. Las llamadas posteriores deben conservar la dimensión de las características y la interpretación de las etiquetas. Llamar repetidamente a fit es una operación distinta: incluso con warm_start, el comportamiento de su contador de la tasa de aprendizaje es diferente. [2]

Un diseño práctico fija el vocabulario de características o usa una representación hash sin estado. Si el preprocesamiento numérico cambia durante la operación, los coeficientes del modelo y las coordenadas de las características transformadas deben seguir siendo coherentes; actualizar un escalador de forma independiente no es automáticamente una estrategia de adaptación válida. Esta es una consecuencia para el flujo de trabajo de mantener con sentido las entradas del modelo.

Ejemplo ilustrativo

Supongamos un archivo de 100000 mensajes de soporte, procesados en lotes de 2000, con tres etiquetas predefinidas: facturación, técnico y general. Un vectorizador hash de dimensión fija asigna todos los lotes al mismo espacio de características. El primer lote puede contener solo mensajes de facturación y técnicos, pero las tres clases se indican al inicializar. Cincuenta lotes equivalen a una pasada por el archivo; eso no demuestra que el modelo resultante sea preciso ni que esté completamente optimizado.

Evaluación y operación

En un flujo en vivo, conserve cada predicción junto con la versión del modelo que la generó antes de usar la etiqueta correspondiente para una actualización. Cuando llegue la etiqueta, puntúe esa predicción almacenada y solo después entrene con el ejemplo. Este protocolo de evaluación, que se propone aquí, evita medir una predicción cuando el modelo ya ha aprendido su respuesta.

Mantenga un conjunto de evaluación independiente para las decisiones de publicación, o use un protocolo documentado basado en el tiempo. Registre el orden de los lotes, la configuración de las características, los ajustes del optimizador, las definiciones de las clases y los checkpoints del modelo, de modo que se pueda investigar una actualización sospechosa.

Límites y casos de fallo

Las actualizaciones incrementales no detectan automáticamente la deriva de concepto (concept drift), no gestionan una clase objetivo realmente nueva ni conservan el rendimiento en casos antiguos. Una tasa de aprendizaje decreciente puede reducir la adaptación a los ejemplos posteriores. [1, 2] Supervise por separado los segmentos de evaluación recientes y los históricos. Las etiquetas incorrectas, los lotes repetidos y los cambios en el significado de las características pueden dañar el modelo aunque la llamada de actualización se ejecute sin errores. Aquí no se informa de ningún experimento de entrenamiento ni de mediciones de rendimiento (throughput).

Fuentes

[1] Strategies to scale computationally: bigger data

[2] SGDClassifier