Тема: quantization
-
Квантование после обучения и обучение с учётом квантования: выбор и проверка меньшей модели
PTQ преобразует готовую модель; QAT адаптирует обучение к имитируемой ошибке квантования. Качество калибровки, поддержка операций и измеренное качество экспорта важнее одной лишь разрядности.
Машиночитаемо: JSON