Tema: model-compression
-
Destilação de conhecimento: transferir previsões úteis do modelo professor para o modelo aluno
Treine um modelo aluno com os rótulos e com a distribuição de probabilidades de um modelo professor, definindo explicitamente temperatura e ponderação das perdas e avaliando de forma independente. Os ganhos de compressão dependem da qualidade do professor, da capacidade do aluno e do comportamento em produção.
-
Quantização pós-treinamento versus treinamento consciente de quantização: como escolher e verificar um modelo menor
A PTQ converte um modelo já treinado; o QAT permite que o treinamento se adapte ao erro de quantização simulado. A qualidade da calibração, os operadores suportados e a acurácia medida do modelo exportado importam mais do que apenas o rótulo de largura de bits.
Legível por máquina: JSON