KI: Praxis

RAG: Retrieval-Augmented Generation in der Praxis

RAG: Retrieval-Augmented Generation in der Praxis

RAG (Retrieval-Augmented Generation) versorgt ein LLM mit relevanten Dokumenten aus einer Wissensbasis – so antwortet es auf Basis aktueller, eigener Daten statt nur seines Trainingswissens.

Pipeline

  1. Ingestion: Dokumente in Chunks schneiden, Embeddings erzeugen, in Vektordatenbank speichern.
  2. Retrieval: Bei einer Frage die ähnlichsten Chunks per Vektor- oder Hybridsuche finden.
  3. Generation: Frage + Chunks an das LLM geben, Antwort generieren.

Chunking

Chunkgröße und -überlappung beeinflussen die Qualität stark. Zu große Chunks: viel Kontext, aber unpräzise Treffer. Zu kleine: Kontext geht verloren. Bewährt: 300-800 Tokens mit 10-20% Überlappung, semantische Grenzen respektieren (Absätze, Überschriften).

Vektordatenbanken

pgvector, Qdrant, Weaviate, Milvus, Chroma. Für kleine Projekte reicht SQLite + Vektor-Erweiterung.

Fallstricke

  • Relevanz: schlechte Chunks → schlechte Antworten (Re-Ranking testen).
  • Halluzination: LLM soll nur aus Chunks antworten, Quellen zitieren.
  • Metadaten-Filter (Datum, Autor) verbessern Retrieval.

Weiterführend: KI: Praxis.