Temperature scaling: calibração da confiança de classificadores

Definição

Temperature scaling (escalonamento por temperatura) é um método pós-treinamento para ajustar as estimativas de probabilidade de um classificador. Ele divide todos os logits de um exemplo pelo mesmo escalar positivo antes de aplicar a softmax. O objetivo é que a confiança prevista concorde melhor com os resultados observados; a representação de características do classificador não é retreinada. [1]

Como funciona

Para logits z e temperatura T > 0, as probabilidades calibradas são softmax(z/T). Com T = 1 elas não mudam; com T > 1 a distribuição fica mais suave, enquanto com 0 < T < 1 ela fica mais concentrada. O valor de T é aprendido minimizando a log-verossimilhança negativa em uma amostra de calibração separada.

Um divisor comum positivo preserva a ordem das classes dentro de cada exemplo. Assim, as previsões por argmax, e a acurácia calculada a partir delas, permanecem inalteradas. Já as decisões que usam um limiar fixo de probabilidade podem mudar. [1]

Fluxo de trabalho prático

1. Separe os dados para ajuste do modelo, calibração e avaliação final, respeitando fronteiras de tempo ou de entidade quando forem relevantes.
2. Congele o classificador treinado e colete seus logits de calibração e os rótulos correspondentes.
3. Otimize uma única temperatura positiva; registre o conjunto de dados, o objetivo e o valor selecionado junto com a versão do modelo.
4. Em dados de avaliação não utilizados anteriormente, compare curvas de confiabilidade (com a contagem de amostras por faixa), log loss, Brier score e acurácia por argmax.

Defina os critérios de aceitação antes de examinar os resultados da avaliação. Um limiar de rejeição ou de roteamento a jusante deve ser avaliado com as probabilidades calibradas que de fato são usadas em produção.

Exemplo ilustrativo

Cálculo ilustrativo, não um resultado de calibração medido: dois logits valem 3 e 1. A probabilidade da primeira classe é de aproximadamente 0.881. Com um T = 2 hipotético, os logits passam a 1.5 e 0.5, resultando em aproximadamente 0.731. A primeira classe continua vencendo.

Um fluxo que roteia automaticamente os casos acima de 0.80 encaminharia a previsão original, mas reteria a previsão escalonada. Portanto, uma acurácia de classificação inalterada não implica comportamento operacional inalterado. Este exemplo demonstra a transformação; ele não é evidência de que T = 2 seja adequado para um conjunto de dados específico.

Limitações e avaliação

Uma única temperatura não consegue introduzir deslocamentos específicos por classe nem corrigir todos os padrões de descalibração. Os dados de calibração precisam representar o uso pretendido; o valor ajustado não oferece garantia automática para novas distribuições ou para subgrupos pequenos.

Os diagramas de confiabilidade dependem do agrupamento em faixas e do número de amostras. O Brier score e a log loss avaliam a qualidade das probabilidades de forma mais ampla, combinando calibração e discriminação; por isso, a melhora em qualquer um deles não prova, por si só, uma melhor calibração. [2] Informe o tamanho da amostra de calibração e mantenha uma comparação com o modelo sem escalonamento. Não se afirma aqui nenhum treinamento local de modelo nem benchmark.

Fontes

[1] On Calibration of Modern Neural Networks [2] scikit-learn: Probability calibration