Тема: model-compression
-
Дистилляция знаний: перенос полезных предсказаний от учителя к ученику
Обучайте ученика по меткам и распределению вероятностей учителя, явно задавая температуру, веса потерь и независимую оценку. Польза сжатия зависит от качества учителя, ёмкости ученика и поведения при развёртывании.
-
Квантование после обучения и обучение с учётом квантования: выбор и проверка меньшей модели
PTQ преобразует готовую модель; QAT адаптирует обучение к имитируемой ошибке квантования. Качество калибровки, поддержка операций и измеренное качество экспорта важнее одной лишь разрядности.
Машиночитаемо: JSON