Post-Training-Quantisierung versus Quantization-Aware Training: ein kleineres Modell wählen und überprüfen

Worum es geht

Quantisierung stellt Modellwerte mit weniger Bits oder weniger verfügbaren numerischen Stufen dar. Die Post-Training-Quantisierung (PTQ) wird nach dem Training angewendet. Beim Quantization-Aware Training (QAT) wird die Quantisierung der Inferenzphase während weiteren Trainings nachgebildet, sodass sich die Parameter an deren Fehler anpassen können; eine anschliessende Konvertierung erzeugt das einsetzbare quantisierte Modell. Das Trainingsmodell von QAT ist nicht automatisch ein ausschliesslich mit Ganzzahlen ausführbares Modell. [1][2]

So funktioniert es

Bei einfacher affiner Ganzzahlquantisierung gilt q = clip(round(x/s) + z, qmin, qmax) und x_hat = s*(q-z), wobei s ein positiver Skalierungsfaktor und z ein ganzzahliger Nullpunkt (Zero Point) ist. Das Runden führt zu einem Näherungsfehler; das Clipping begrenzt Werte ausserhalb des unterstützten Bereichs auf dessen Grenzen. Bei fester Bitbreite verringert ein grösserer dargestellter Wertebereich das Clipping, vergrössert aber den Abstand zwischen benachbarten Werten.

Bei der statischen Aktivierungsquantisierung werden die Wertebereiche anhand repräsentativer Kalibrierungseingaben geschätzt. Die dynamische Quantisierung kann die Aktivierungsbereiche während der Inferenz bestimmen, während reine Gewichtsquantisierung oder FP16-Konvertierung andere Anforderungen haben. Diese Verfahren sollten nicht alle als vollständig ganzzahlige Ausführung bezeichnet werden. [1][3]

Praktischer Ablauf

Zuerst ein Gleitkommamodell exportieren und evaluieren, um Konvertierungsprobleme von Quantisierungsproblemen zu trennen. Danach ein PTQ-Verfahren ausprobieren, das von der vorgesehenen Laufzeitumgebung und Hardware unterstützt wird. Für die statische Kalibrierung eine repräsentative Teilmenge der Trainingsdaten auswählen, mit der Vorverarbeitung, den Eingabeformen und den relevanten Betriebsbedingungen der Produktion. Die übliche Aktivierungskalibrierung verwendet Eingaben und benötigt deren Labels nicht. Unabhängige Evaluationsdaten für die Abnahmeprüfungen zurückhalten. [3]

Verfehlt PTQ das geforderte Qualitätsziel, zunächst Kalibrierung und empfindliche Operationen untersuchen, bevor QAT in Betracht gezogen wird. QAT setzt eine funktionierende Trainingspipeline und zusätzlichen Rechenaufwand voraus. Nach QAT erneut konvertieren und das exportierte Artefakt evaluieren; die Trainingssimulation allein belegt das Verhalten im Einsatz nicht. [2]

Anschauliches Beispiel

Auf einem beispielhaften Raster mit s = 0.1 und z = 0 wird x = 0.26 zur Ganzzahl 3 und als 0.3 rekonstruiert; bei inaktivem Clipping beträgt der absolute Fehler 0.04. Wiederholte Berechnungen über mehrere Schichten können die Wirkung solcher Fehler auf die Ausgaben verstärken oder abschwächen. Diese Zahlen veranschaulichen nur das Runden; sie sagen keinen Genauigkeitsverlust eines Modells voraus.

Grenzen und Überprüfung

Auf dem Zielgerät sind Aufgabenqualität, das Verhalten relevanter Teilgruppen, Latenz, Spitzenspeicherbedarf und Artefaktgrösse zu messen. Operatorunterstützung, Ein- und Ausgabetypen sowie Gleitkomma-Fallbacks prüfen: Eine erfolgreiche Konvertierung belegt weder eine ausschliesslich ganzzahlige Ausführung noch eine Beschleunigung. [3] Aktivierungen mit vielen Ausreissern und nicht repräsentative Kalibrierdaten können erhebliche Fehler verursachen. QAT kann die Robustheit gegenüber Quantisierung verbessern, garantiert aber nicht, dass die ursprüngliche Qualität wieder erreicht wird. [2]

Bitbreiten, Skalierung pro Tensor oder pro Kanal, Kalibrierdaten, Versionen von Konverter und Laufzeitumgebung sowie Abnahmeschwellen dokumentieren. Für diesen Artikel wurde kein lokales Quantisierungsexperiment und kein Hardware-Benchmark durchgeführt.

Quellen

[1] TensorFlow: Post-training quantization [2] TensorFlow: Quantization aware training [3] Google AI Edge: Post-training quantization