Tema: training
-
Acúmulo de gradientes: batches efetivos sem perder a normalização correta
Acumule gradientes de microbatches para reduzir a memória de ativações, preservando a ponderação da perda, os limites do otimizador e a ordem do clipping; um batch efetivo maior nem sempre equivale a um único batch físico.
-
Destilação de conhecimento: transferir previsões úteis do modelo professor para o modelo aluno
Treine um modelo aluno com os rótulos e com a distribuição de probabilidades de um modelo professor, definindo explicitamente temperatura e ponderação das perdas e avaliando de forma independente. Os ganhos de compressão dependem da qualidade do professor, da capacidade do aluno e do comportamento em produção.
-
Treinamento de precisão mista: autocasting, escalonamento de perda e limites numéricos
A precisão mista atribui formatos de ponto flutuante adequados a cada operação. Autocasting e escalonamento de perda resolvem problemas diferentes, e os ganhos de desempenho exigem verificações numéricas e medições no hardware de destino.
Legível por máquina: JSON