Quantization-Aware Training (QAT) ist ein Trainingsverfahren, bei dem die Effekte der Quantisierung bereits während des Trainings simuliert werden. Das Modell lernt dadurch Gewichte, die auch in niedriger Präzision wie INT8 oder INT4 zuverlässig funktionieren — der spätere Genauigkeitsverlust fällt deutlich geringer aus als bei einer nachträglichen Quantisierung.
So funktioniert QAT
Beim QAT wird in den Trainingsloop eine Fake Quantization eingebaut: Die Gewichte und Aktivierungen werden rechnerisch auf die Ziel-Präzision quantisiert und wieder zurückgerechnet, während die Gradienten mit hochpräziser Arithmetik fließen (Straight-Through Estimator). Das Modell lernt also, mit den Rundungsfehlern der späteren Inferenz umzugehen, statt sie erst nach dem Training zu spüren.
Abgrenzung und Aufwand
- QAT liefert typischerweise bessere Genauigkeit als Post-Training Quantization, kostet aber zusätzliche Trainingszeit und Rechenressourcen.
- Besonders sinnvoll für sehr niedrige Bitbreiten (INT4/INT8) und für Edge-/Embedded-Einsatz, etwa mit TensorRT oder TensorFlow Lite.
- Unterstützt wird QAT unter anderem von PyTorch (torch.ao.quantization) und TensorFlow (Model Optimization Toolkit).
- QAT lässt sich auch mit Sparsity kombinieren, um Modelle zusätzlich zu verschlanken.
Verwandte Grundlagen: Quantisierung, Modellkompression, Training (KI).