Quantisierung ist eine Technik der Modellkompression, bei der die Gewichte eines neuronalen Netzes mit geringerer numerischer Präzision gespeichert werden — typischerweise statt 32-Bit-Gleitkommazahlen (FP32) nur noch 16, 8 oder sogar 4 Bit. Dadurch schrumpft das Modell stark, und die Berechnungen werden auf passender Hardware deutlich schneller.
Wie funktioniert Quantisierung?
Neuronale Netze bestehen aus Millionen von Gewichten. In voller Präzision belegt jedes Gewicht 32 Bit (FP32); viele Modelle nutzen bereits 16 Bit (FP16/BF16). Bei der Quantisierung werden die Gewichte auf ganzzahlige Werte abgebildet, z. B. INT8 (256 Stufen) oder INT4 (16 Stufen). Der Wertebereich wird dabei so skaliert, dass die Verluste möglichst klein bleiben.
PTQ und QAT
- Post-Training Quantization (PTQ): Das bereits trainierte Modell wird nachträglich quantisiert — einfach, aber bei Randfällen kann die Genauigkeit leiden.
- Quantization-Aware Training (QAT): Das Modell wird bereits beim Training mit Quantisierungseffekten trainiert und lernt, trotz geringerer Präzision genau zu bleiben — bessere Qualität, aber aufwendiger.
Formate und Werkzeuge
Für große Sprachmodelle haben sich spezielle Verfahren etabliert: GPTQ und AWQ quantisieren Gewichte nachträglich (PTQ), GGUF ist das verbreitete Containerformat für quantisierte Modelle in llama.cpp. Gemischte Präzision kombiniert verschiedene Bitbreiten pro Schicht.
Praxisbeispiel
Ein Sprachmodell mit 70 Milliarden Parametern braucht in FP16 rund 140 GB VRAM. Mit INT4-Quantisierung sinkt der Bedarf auf etwa 35 GB — das Modell läuft damit auf einer einzelnen Workstation statt eines Server-Clusters. Üblich sind Größenreduktionen um rund 75 Prozent bei minimalem Qualitätsverlust.
Verwandte Grundlagen: KI-Modell, Deep Learning, Pruning.