Predição conforme split: intervalos com cobertura marginal

Definição

A predição conforme split (split conformal prediction) adiciona intervalos de predição a um modelo de regressão já ajustado. Uma amostra de calibração separada define o tamanho que os intervalos devem ter. Sob a hipótese de permutabilidade (exchangeability) entre os exemplos de calibração e os exemplos futuros, o procedimento oferece cobertura marginal em amostra finita, sem exigir um modelo paramétrico correto para a distribuição do resultado. [1][2]

Como funciona

Ajuste um preditor f nos dados de treino e mantenha-o fixo. Para cada um dos n exemplos de calibração, calcule o resíduo absoluto |y − f(x)| e ordene essas pontuações. Para uma meta de erro alpha, use o posto k = teto((n + 1) × (1 − alpha)). Seja q a k-ésima menor pontuação; retorne [f(x) − q, f(x) + q].

Se k for maior que n, a construção básica exige um limite infinito, e não a substituição silenciosa por um quantil menor. Mais dados de calibração podem melhorar a resolução. [1]

Fluxo de trabalho prático

1. Defina a variável-alvo, o horizonte de predição, o modelo e a pontuação antes de usar os resultados da calibração.
2. Reserve observações de calibração que não tenham sido usadas para ajustar nem para otimizar o preditor.
3. Escolha a meta de cobertura, calcule o quantil corrigido e salve a versão do conjunto de dados de calibração.
4. Avalie a cobertura e a largura dos intervalos em outra amostra ainda não utilizada; informe os resultados por subgrupos relevantes, além do resultado geral.

Se o modelo for alterado após a calibração, é preciso reavaliar suas pontuações de calibração. Não ajuste a pontuação repetidamente com a mesma amostra de calibração enquanto afirma ter a garantia básica.

Exemplo ilustrativo

Cálculo ilustrativo, não um resultado observado: suponha n = 99 entregas de calibração e meta de cobertura de 90%. O posto necessário é teto(100 × 0,90) = 90. Suponha que o 90º menor erro absoluto seja de quatro minutos. Uma nova entrega com previsão de vinte minutos recebe o intervalo [16, 24] minutos.

Esse cálculo explica como o intervalo é construído. Ele não mostra que uma entrega, rota ou subgrupo de carga específico tenha 90% de probabilidade condicional de ser coberto.

Limitações e avaliação

A cobertura marginal é uma média sobre a amostra de calibração e uma observação futura. Ela não garante cobertura igual para cada subgrupo nem para cada entrada. A permutabilidade pode falhar em caso de dependência temporal, retroalimentação (feedback) ou mudança de distribuição; nesses casos, o resultado básico não deve ser transposto automaticamente. [1]

A construção com resíduo absoluto gera largura constante para uma amostra de calibração fixa e pode ser ineficiente quando o ruído varia com a entrada. Pontuações adaptativas ou outras variantes conformes exigem sua própria especificação. Informe a largura junto com a cobertura: intervalos muito largos podem atingir a cobertura sem ter grande utilidade prática. Não se afirma ter havido treino local de modelo nem experimento de cobertura.

Fontes

[1] A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification [2] Distribution-Free Predictive Inference For Regression