Tema: deep-learning
-
Acúmulo de gradientes: batches efetivos sem perder a normalização correta
Acumule gradientes de microbatches para reduzir a memória de ativações, preservando a ponderação da perda, os limites do otimizador e a ordem do clipping; um batch efetivo maior nem sempre equivale a um único batch físico.
-
Destilação de conhecimento: transferir previsões úteis do modelo professor para o modelo aluno
Treine um modelo aluno com os rótulos e com a distribuição de probabilidades de um modelo professor, definindo explicitamente temperatura e ponderação das perdas e avaliando de forma independente. Os ganhos de compressão dependem da qualidade do professor, da capacidade do aluno e do comportamento em produção.
-
LoRA: adaptação de baixo posto e o que sua economia de memória realmente cobre
O LoRA aprende uma atualização de baixo posto e mantém congelados os pesos do modelo base. Ele reduz os parâmetros treináveis e o estado do otimizador associado, mas o modelo base, as ativações e a compatibilidade na implantação continuam pesando.
-
Treinamento de precisão mista: autocasting, escalonamento de perda e limites numéricos
A precisão mista atribui formatos de ponto flutuante adequados a cada operação. Autocasting e escalonamento de perda resolvem problemas diferentes, e os ganhos de desempenho exigem verificações numéricas e medições no hardware de destino.
-
AdamW: por que o weight decay desacoplado difere de uma penalidade L2
O AdamW reduz os parâmetros separadamente da atualização adaptativa do gradiente. Assim, o termo de decaimento não entra nas estimativas de momentos do Adam, mas a taxa de aprendizado, o número de atualizações e a escolha dos grupos de parâmetros continuam influenciando a regularização.
-
Deep ensembles: incerteza preditiva e pontos cegos compartilhados
Como combinar redes treinadas de forma independente, distinguir a variância interna de cada modelo da divergência entre eles e avaliar a qualidade das probabilidades e o custo operacional sob mudanças realistas nos dados.
Legível por máquina: JSON