Post-Training Quantization (PTQ) verkleinert ein fertig trainiertes Float-Modell (FP32), indem die Gewichte nach dem Training auf eine niedrigere Präzision wie INT8 umgerechnet werden — ganz ohne erneutes Training. PTQ ist die schnellste und einfachste Quantisierungsmethode und eignet sich ideal für erste Deployment-Tests.
Varianten von PTQ
- Dynamic Range Quantization: Nur die Gewichte werden auf INT8 quantisiert, die Aktivierungen bleiben dynamisch im Float-Bereich. Sehr geringer Aufwand, guter Kompromiss.
- Full-Integer Quantization: Gewichte und Aktivierungen werden auf INT8 quantisiert. Für die Aktivierungsbereiche ist eine Kalibrierung mit einem repräsentativen Datensatz nötig. Schnellste Inferenz, bester Effizienzgewinn.
Abgrenzung zu QAT
Im Gegensatz zum Quantization-Aware Training passiert PTQ nach dem Training und ohne Retraining — dafür ist ein leichter Genauigkeitsverlust möglich. PTQ lässt sich außerdem mit Sparsity kombinieren, um Speicher und Rechenaufwand weiter zu senken. Typische Werkzeuge sind TensorFlow Lite (LiteRT), ONNX Runtime und PyTorch.
Verwandte Grundlagen: Quantisierung, Modellkompression, Inference (KI).