Destilação de conhecimento: transferir previsões úteis do modelo professor para o modelo aluno

O que é

A destilação de conhecimento usa um modelo professor para orientar um modelo aluno. O aluno costuma ser menor, mas o que define a técnica é o sinal de treinamento adicional, não o tamanho do modelo. Na destilação clássica para classificação, o professor fornece uma distribuição sobre as classes em vez de apenas o rótulo vencedor, o que expõe relações entre as alternativas. [1]

Como funciona

Divida os logits do professor e do aluno por uma temperatura T antes do softmax. Uma temperatura mais alta suaviza as distribuições. Um objetivo comum é L = (1-alpha)*CE(y, p_s) + alpha*T^2*KL(p_t(T) || p_s(T)). Aqui, p_s no termo dos rótulos usa temperatura 1; o termo de destilação compara os dois modelos com o mesmo T. Alpha controla o peso relativo dos dois termos. A multiplicação por T ao quadrado compensa de forma aproximada a escala do gradiente relacionada à temperatura; isso não garante que todas as temperaturas se comportem da mesma maneira. [1][2]

Fluxo de trabalho prático

Separe os dados de treinamento, validação e teste. O professor não deve introduzir informação do conjunto de teste no treinamento do aluno. Congele o professor, use o modo de avaliação na destilação offline comum e evite armazenar os gradientes dele. Forneça ao professor e ao aluno entradas correspondentes, com ordem de classes compatível. [2]

Escolha como referência um aluno treinado apenas com rótulos e depois ajuste a temperatura e os pesos das perdas com os dados de validação. Implemente a KL com a convenção de probabilidade ou log-probabilidade exigida pela biblioteca e com uma redução documentada sobre classes e exemplos. Mantenha o conjunto de teste final intocado até concluir a seleção. Registre a versão do professor, o pré-processamento, os dados de transferência e a arquitetura do aluno.

Exemplo ilustrativo

Um professor ilustrativo para tickets de suporte atribui 0,70 a envio, 0,25 a reembolso e 0,05 a conta. Um rótulo rígido "envio" esconde a diferença entre as duas alternativas; a distribuição indica que reembolso é a interpretação concorrente mais próxima. O aluno pode aprender essa estrutura e, ao mesmo tempo, aprender o rótulo verdadeiro. Essas probabilidades foram escolhidas para ilustrar a ideia e não relatam desempenho nem uma transformação de temperatura específica.

Limites e verificação

O professor pode transmitir erros e vieses. Um aluno muito pequeno pode não ter capacidade para reproduzir distinções úteis, e mudanças de domínio podem tornar enganosas as saídas confiantes do professor. Por isso, o fato de as distribuições coincidirem não prova, por si só, melhor desempenho na tarefa. [1][2] Espaços de rótulos ou vocabulários de tokens diferentes exigem um método explícito de alinhamento; o objetivo simples, classe a classe, não se aplica automaticamente.

Compare o aluno destilado, o aluno treinado só com rótulos e o professor em métricas independentes da tarefa, em subgrupos relevantes, em latência e em memória. Avalie o pré-processamento e o comportamento de saída como serão usados em produção, e não apenas a perda de treinamento. Nenhum experimento local de destilação nem benchmark de compressão foi realizado para este artigo.

Fontes

[1] Hinton, Vinyals and Dean: Distilling the Knowledge in a Neural Network [2] PyTorch: Knowledge Distillation Tutorial