Inference (deutsch: Inferenz, auch Schlussfolgerung) ist die Phase, in der ein trainiertes KI-Modell auf neue Daten angewendet wird, um Vorhersagen, Klassifikationen oder Texte zu erzeugen. Beim Training lernt das Modell aus Beispielen — bei der Inference wendet es das Gelernte an.
Inference vs. Training
Der wichtigste Unterschied liegt im Ziel: Training optimiert die Gewichte eines Modells über Millionen von Schritten, Inference nutzt das fertige Modell für einzelne Anfragen. Während Training oft Stunden bis Wochen dauert, soll Inference in Millisekunden bis Sekunden Antworten liefern — etwa wenn ein Large Language Model bei jedem Token eine Vorhersage über das nächste Token trifft.
Wo Inference stattfindet
- Klassifikation: Spam-Erkennung, Bilderkennung (Attention-Mechanismen in neuronalen Netzen)
- Generierung: Chatbots, Übersetzung, Code-Vervollständigung
- Empfehlungen: Personalisierte Vorschläge in Onlineshops
Ressourcen und Grenzen
Inference ist rechenintensiv: Jede Anfrage durchläuft das ganze Modell. Deshalb kommen GPUs und spezialisierte Chips zum Einsatz (siehe CUDA). Anders als beim Overfitting im Training geht es hier nicht um Lernkurven, sondern um Latenz, Durchsatz und Kosten pro Anfrage.
Praxis-Tipp
Wer Modelle in Produktion betreibt, unterscheidet Training und Inference auch organisatorisch: Maschinelles Lernen endet nicht mit dem Training, sondern mit einer schnellen, stabilen Inference-Pipeline. Wann Embeddings und nachgelagerte Systeme wie Fine-Tuning oder RAG sinnvoll sind, hängt vom Anwendungsfall ab.