Predicción conforme dividida: intervalos con cobertura marginal

Definición

La predicción conforme dividida (split conformal prediction) añade intervalos de predicción a un modelo de regresión ya ajustado. Una muestra de calibración separada determina el tamaño que deben tener los intervalos. Si los ejemplos de calibración y los futuros son intercambiables, el procedimiento ofrece cobertura marginal en muestras finitas, sin exigir un modelo paramétrico correcto de la distribución del resultado. [1][2]

Cómo funciona

Ajusta un predictor f con los datos de entrenamiento y mantenlo fijo. Para cada uno de los n ejemplos de calibración, calcula el residuo absoluto |y − f(x)| y ordena estas puntuaciones. Para un objetivo de error alpha, usa el rango k = ceiling((n + 1) × (1 − alpha)). Sea q la k-ésima puntuación más pequeña; el intervalo devuelto es [f(x) − q, f(x) + q].

Si k es mayor que n, la construcción básica exige una cota infinita; no se debe sustituir de forma silenciosa por un cuantil inferior. Disponer de más datos de calibración puede mejorar la resolución. [1]

Flujo de trabajo práctico

1. Fija el objetivo, el horizonte de predicción, el modelo y la puntuación antes de usar los resultados de calibración.
2. Reserva observaciones de calibración que no se hayan usado para ajustar ni para afinar el predictor.
3. Elige el objetivo de cobertura, calcula el cuantil corregido y guarda la versión del conjunto de datos de calibración.
4. Evalúa la cobertura y la anchura de los intervalos en otra muestra que no se haya tocado; informa de los resultados tanto por segmentos relevantes como en conjunto.

Si cambias el modelo después de calibrar, hay que volver a considerar sus puntuaciones de calibración. No afines la puntuación repetidamente con la misma muestra de calibración y afirmes a la vez que se mantiene la garantía básica.

Ejemplo ilustrativo

Cálculo ilustrativo, no un resultado observado: se usan n = 99 entregas de calibración y un objetivo de cobertura del 90 %. El rango necesario es ceiling(100 × 0.90) = 90. Supongamos que el 90.º error absoluto más pequeño es de cuatro minutos. Una entrega nueva cuya duración prevista es de veinte minutos recibe el intervalo [16, 24] minutos.

Este cálculo explica cómo se construye el intervalo. No demuestra que una entrega concreta, una ruta o un subgrupo de carga de trabajo tenga una probabilidad condicional del 90 % de quedar cubierto.

Limitaciones y evaluación

La cobertura marginal es un promedio sobre la muestra de calibración y una observación futura. No garantiza la misma cobertura para cada subgrupo ni para cada entrada. La intercambiabilidad puede fallar si hay dependencia temporal, retroalimentación o cambio de distribución; el resultado básico no debe trasladarse automáticamente a esos casos. [1]

La construcción con residuo absoluto produce una anchura constante para una muestra de calibración fija y puede ser ineficiente cuando el ruido varía con la entrada. Las puntuaciones adaptativas u otras variantes conformes requieren su propia especificación. Informa de la anchura junto con la cobertura: unos intervalos muy amplios pueden alcanzar la cobertura y aun así aportar poco valor práctico. No se afirma que se haya realizado ningún entrenamiento local de modelos ni experimento de cobertura.

Fuentes

[1] A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification [2] Distribution-Free Predictive Inference For Regression