Welche GPU für LLMs?

Welche GPU für LLMs?

Für den Betrieb großer Sprachmodelle (LLMs) ist der VRAM (Grafikspeicher) der entscheidende Faktor. Das Modell muss während der Inferenz vollständig in den Speicher passen — vereinfacht gilt: Modellgröße in GB ≈ Anzahl der Parameter × 2 Bytes (bei 16-Bit-Genauigkeit, z. B. FP16/BF16).

Richtwerte

• 7–8 Mrd. Parameter (z. B. Llama 3 8B, Qwen 7B): ca. 14–16 GB VRAM → ab 16 GB (z. B. RTX 4080/4090, RTX 5070 Ti, A4000)
• 13–14 Mrd. Parameter: ca. 26–28 GB VRAM → 32-GB-Karten (z. B. RTX A6000, RTX 5090, 2× 16 GB)
• 30–35 Mrd. Parameter (z. B. Qwen 32B): ca. 60–70 GB VRAM → 2× 32 GB oder 1× 80 GB (z. B. A100/H100, 2× RTX 4090)
• 70 Mrd. Parameter: ca. 140 GB VRAM → mehrere 48-GB-Karten (A6000, L40S, A100 80 GB) oder Quantisierung

Praktische Wege, um mit weniger VRAM auszukommen

• Quantisierung (GGUF/Q4): Reduziert den Speicherbedarf um ca. 60–75 % bei geringem Qualitätsverlust — damit laufen 7B–14B-Modelle auf 8–16 GB VRAM.
• Kleinere Modelle: Für viele Aufgaben reichen 1–8-Milliarden-Parameter-Modelle völlig aus.
• CPU-Inferenz: Für Experimente und kleinere Modelle möglich, aber deutlich langsamer als GPU.

Inference, Training, Fine-Tuning

Inference (nur Ausführen) braucht deutlich weniger Ressourcen als Training oder Fine-Tuning. Wer eigene Modelle trainieren oder feinabstimmen möchte, benötigt in der Regel deutlich mehr VRAM und oft mehrere GPUs.