Квантование после обучения и обучение с учётом квантования: выбор и проверка меньшей модели

Определение

Квантование представляет значения модели меньшим числом битов или доступных числовых уровней. Квантование после обучения (PTQ) выполняет преобразование уже обученной модели. Обучение с учётом квантования (QAT) имитирует квантование инференса при дополнительном обучении, позволяя параметрам приспособиться к ошибкам. Последующее преобразование создаёт модель для развёртывания. Обучающая модель QAT не становится автоматически полностью целочисленным исполняемым артефактом. [1][2]

Принцип работы

В простом аффинном целочисленном квантовании q = clip(round(x/s) + z, qmin, qmax) и x_hat = s*(q-z), где s — положительный масштаб, z — целочисленная нулевая точка. Округление создаёт погрешность, а обрезка насыщает значения вне диапазона. При фиксированной разрядности расширение диапазона уменьшает обрезку, но увеличивает расстояние между соседними уровнями.

Статическое квантование активаций оценивает диапазоны по представительным калибровочным входам. Динамическое может определять их при инференсе; квантование только весов и перевод в FP16 имеют иные требования. Не все эти методы означают полностью целочисленное выполнение. [1][3]

Практический порядок действий

Сначала экспортируйте и оцените модель с плавающей точкой, чтобы отделить ошибки преобразования от квантования. Затем попробуйте PTQ, поддерживаемое целевыми средой выполнения и оборудованием. Для статической калибровки выберите представительную часть обучающих данных с эксплуатационной предобработкой, формами входов и значимыми условиями. Обычная калибровка активаций использует входы и не требует меток. Для приёмки оставьте независимые оценочные данные. [3]

Если PTQ не достигает нужного качества, исследуйте калибровку и чувствительные операции до перехода к QAT. QAT требует рабочей обучающей цепочки и дополнительных вычислений. После него снова преобразуйте модель и оцените экспорт: одна обучающая симуляция не доказывает эксплуатационное поведение. [2]

Наглядный пример

На условной сетке с s = 0.1 и z = 0 значение x = 0.26 превращается в целое 3 и восстанавливается как 0.3, давая абсолютную ошибку 0.04 без обрезки. Последующие вычисления слоёв способны усилить или ослабить влияние таких ошибок. Числа показывают только округление, а не предсказывают потерю качества модели.

Ограничения и проверка

Измерьте качество задачи, поведение важных подгрупп, задержку, пиковую память и размер артефакта на целевом устройстве. Проверьте поддержку операций, типы входов/выходов и возврат к вычислениям с плавающей точкой: успешное преобразование не доказывает полностью целочисленную работу или ускорение. [3] Выбросы в активациях и непредставительная калибровка могут дать значительные ошибки. QAT способен повысить устойчивость к квантованию, но не гарантирует исходное качество. [2]

Документируйте разрядность, масштабирование по тензорам или каналам, калибровочные данные, версии преобразователя и среды выполнения, критерии приёмки. Локальный эксперимент по квантованию и аппаратный бенчмарк для этой статьи не проводились.

Источники

[1] TensorFlow: Post-training quantization [2] TensorFlow: Quantization aware training [3] Google AI Edge: Post-training quantization