Ensembles profundos: incertidumbre predictiva y puntos ciegos compartidos

Definición

Un ensemble profundo combina las predicciones de varias redes neuronales entrenadas por separado. Las distintas inicializaciones aleatorias y órdenes de entrenamiento pueden producir modelos ajustados diferentes aunque todos usen el mismo conjunto de datos. Promediar sus predicciones puede mejorar las estimaciones de incertidumbre predictiva, pero que los miembros coincidan no garantiza que la predicción sea correcta. [1]

Cómo funciona

En clasificación, se promedian las probabilidades de clase de los miembros en lugar de limitarse a contar las etiquetas ganadoras. En regresión probabilística, cada miembro puede predecir una media mu_m y una varianza v_m. La media de la mezcla es el promedio de los mu_m; su varianza es el promedio de (v_m + mu_m al cuadrado) menos la media del ensemble al cuadrado.

Esto separa la varianza media dentro de cada modelo de la variación entre las medias predichas. El método original de ensembles profundos puede entrenar a cada miembro con el conjunto de datos completo; no es necesario el remuestreo bootstrap. [1]

Flujo de trabajo práctico

1. Elige el número de miembros según un presupuesto medido de entrenamiento, memoria y latencia.
2. Entrena los miembros por separado, con semillas aleatorias registradas y un protocolo de datos común y versionado.
3. Guarda los artefactos de los miembros y la regla de agregación como una única versión desplegable.
4. Evalúa las predicciones combinadas con datos no utilizados y con cambios de distribución plausibles en el despliegue; compáralas con un modelo único de referencia.

En clasificación, revisa la log loss, el Brier score y la fiabilidad (reliability). En regresión, analiza el comportamiento de los residuos y la cobertura de cualquier intervalo que se afirme. Si la incertidumbre decide cuándo abstenerse de predecir, mide los errores en función de la fracción de casos que se conserva. Considera esto un plan de evaluación operativa, no una propiedad automática del ensemble.

Ejemplo ilustrativo

Cálculo ilustrativo, no un resultado entrenado: tres miembros de regresión predicen medias de 10, 12 y 14 unidades, cada uno con varianza de 4 unidades al cuadrado. La media del ensemble es 12. La varianza media dentro de los modelos es 4, mientras que la varianza entre las medias de los miembros es (4 + 0 + 4) / 3 = 8/3. Por tanto, la varianza total de la mezcla es 20/3, aproximadamente 6,67 unidades al cuadrado.

Se usa la varianza de la mezcla finita, no el estimador de varianza muestral con denominador dos. Este cálculo por sí solo no establece un intervalo de predicción calibrado.

Limitaciones y evaluación

Los miembros pueden compartir las mismas características ausentes, sesgos de entrenamiento o puntos ciegos. Su desacuerdo refleja únicamente la variación representada por el ensemble elegido, no toda la incertidumbre. Que las ejecuciones de entrenamiento sean independientes no hace independientes las observaciones de entrenamiento que comparten.

El benchmark de cambio de distribución citado encontró un rendimiento útil de los ensembles, pero la calidad de la incertidumbre se degradaba igualmente a medida que aumentaban los cambios. [2] Evalúa cada despliegue en lugar de suponer que un desacuerdo bajo significa que la entrada es conocida o segura. Ten en cuenta el cómputo y el almacenamiento adicionales, y documenta cualquier ensemble reducido que se use en producción. No se afirma ningún resultado local de entrenamiento ni de benchmark.

Fuentes

[1] Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles [2] Can you trust your model’s uncertainty? Evaluating predictive uncertainty under dataset shift