Label shift: como detectar e corrigir mudanças nas proporções de classe

Definição

O label shift ocorre quando as proporções das classes P(Y) mudam entre uma população de origem e uma população de destino, enquanto a distribuição de entrada condicionada à classe P(X|Y) permanece a mesma. É um modelo específico de mudança de distribuição, não uma explicação geral para qualquer alteração nos dados recebidos. A correção só é válida se essa suposição for adequada. [1]

Como funciona

O Black Box Shift Estimation usa a matriz de confusão de um classificador, obtida em dados de origem rotulados, e as frequências das classes previstas em dados de destino sem rótulo para estimar as proporções de classe no destino. Na formulação apresentada, toda classe do destino precisa ter suporte na origem, e a matriz de confusão precisa ser invertível. O preditor não precisa ser perfeitamente preciso nem calibrado. [1]

A correção das probabilidades a posteriori é uma etapa separada: multiplicam-se as probabilidades de classe da origem pelas razões entre os priors do destino e da origem e depois renormaliza-se. Isso exige estimativas de probabilidade adequadas na origem; a qualidade da calibração importa para a adaptação baseada em probabilidades. [2]

Fluxo de trabalho prático

1. Explique por que as entradas dentro de cada classe devem continuar comparáveis e identifique possíveis violações dessa condição.
2. Estime os priors da origem e a matriz de confusão com observações de origem representativas e reservadas (held-out), mantendo fixo o mapeamento das classes.
3. Colete uma janela definida de dados do destino e estime suas proporções de classe; examine o condicionamento numérico e a sensibilidade à variação amostral.
4. Compare uma linha de base sem correção com a correção proposta, usando exemplos rotulados do destino quando estiverem disponíveis.

Registre a janela de estimação, os pesos e as suposições a cada atualização do modelo. Trate pesos instáveis ou implausíveis como motivo para investigar, não como licença para forçar um ajuste.

Exemplo ilustrativo

Cálculo ilustrativo, não um resultado estimado em produção: suponha que a proporção da classe positiva na origem seja 0.10 e que a proporção no destino seja conhecida e igual a 0.20. O peso da classe positiva é, portanto, 2; o da classe negativa é 0.80/0.90.

Para uma probabilidade positiva calibrada na origem de 0.60, o valor corrigido é (0.60 × 2) / ((0.60 × 2) + (0.40 × 0.80/0.90)), aproximadamente 0.771. Isso mostra como uma mudança nas chances a priori altera uma probabilidade a posteriori sob as suposições indicadas. Na prática, a proporção do destino precisa ser estimada ou obtida a partir de observações confiáveis.

Limitações e avaliação

Uma classe nova, ausente dos dados de origem, viola o requisito de suporte. Mudanças de redação, de sensores ou de procedimentos de medição dentro de uma classe podem violar a suposição de P(X|Y) estável. Matrizes de confusão quase singulares podem amplificar o ruído da estimação, mesmo quando são matematicamente invertíveis. [1]

O monitoramento sem rótulos, por si só, não verifica todas as suposições nem comprova melhora no desempenho da tarefa. Audite rótulos do destino sempre que possível e avalie a calibração, a qualidade das decisões e os efeitos sobre subgrupos após a correção. Não confunda a mudança na contagem das classes previstas com uma mudança confirmada nas proporções reais das classes. Não se alega nenhum experimento local de adaptação nem melhoria medida.

Fontes

[1] Detecting and Correcting for Label Shift with Black Box Predictors [2] Maximum Likelihood with Bias-Corrected Calibration is Hard-To-Beat at Label Shift Adaptation