Sparsity (Sparsität) bezeichnet in der KI einen Zustand, in dem ein großer Teil der Gewichte eines Modells den Wert Null hat. Solche Modelle brauchen weniger Speicher und lassen sich bei Inferenz und Training deutlich effizienter berechnen — ein zentrales Werkzeug der Modellkompression neben Quantisierung und Pruning.
Formen der Sparsity
- Unstrukturierte Sparsity: Einzelne Gewichte werden unabhängig voneinander auf Null gesetzt (feinkörnig). Flexibel, aber für Standard-Hardware schwer zu beschleunigen.
- Strukturierte Sparsity: Ganze Strukturen wie Kanäle oder Zeilen entfallen. Regelmäßiger, daher hardwarefreundlicher.
- N:M-Sparsity: Von je M Gewichten sind N Null (z. B. 2:4). Dieses Muster ist auf GPUs wie NVIDIA Ampere hardware-unterstützt und erzielt bis zu 2× Beschleunigung.
Wie entsteht Sparsity?
Häufig erzeugt Pruning die Null-Gewichte, indem unbedeutende Verbindungen entfernt werden. Werte werden anschließend in Sparse-Matrizen (z. B. CSR-Format) abgelegt. Sparsity lässt sich auch mit Quantization-Aware Training kombinieren — etwa durch Magnitude-Thresholds während des Trainings.
Verwandte Grundlagen: Modellkompression, Post-Training Quantization, KI-Modell.