Was ist Inference?
Inference (engl. Schlussfolgerung) bezeichnet in der KI den Moment, in dem ein trainiertes Modell eine Antwort erzeugt: Das Modell erhält eine Eingabe (Prompt) und berechnet daraus eine Ausgabe. Beim Betrieb von LLMs ist Inference der Normalfall — jede Antwort in einem Chat, jede generierte E-Mail, jede API-Abfrage ist Inference.
Inference vs. Training
- Training: Das Modell lernt aus riesigen Datenmengen. Passiert einmalig (oder bei Fine-Tuning) und benötigt sehr viel Rechenleistung, oft über Wochen.
- Fine-Tuning: Ein vorhandenes Modell wird mit eigenen Daten nachtrainiert, um es an einen bestimmten Stil oder Fachbereich anzupassen.
- Inference: Das fertige Modell wird angewendet. Läuft dauerhaft und muss für den jeweiligen Einsatzzweck schnell genug sein.
Was braucht Inference?
- GPU: Beschleunigt die Berechnung erheblich. Für größere Modelle ist ausreichend VRAM entscheidend.
- CPU: Möglich, aber langsamer — für Echtzeit-Anwendungen meist ungeeignet.
- Latenz und Durchsatz: Für interaktive Anwendungen zählt die Antwortzeit, für Batch-Verarbeitung der Durchsatz.
Für den Produktivbetrieb von KI-Anwendungen ist eine saubere Inference-Umgebung genauso wichtig wie das Modell selbst: Server, GPU, API-Schicht, Überwachung und Skalierung gehören zusammen.
Wir betreiben und optimieren Inference-Umgebungen — von der einzelnen GPU bis zum GPU-Server im Produktivbetrieb. Anfrage stellen.