Ein Embedding ist eine Zahlenliste (Vektor), die Wörter, Sätze, Bilder oder andere Daten so abbildet, dass ähnliche Inhalte ähnliche Zahlen ergeben. Embeddings sind das Fundament moderner KI-Suchen, Empfehlungssysteme und großer Sprachmodelle.
Wie funktionieren Embeddings?
Ein Modell überführt einen Text in einen Vektor aus meist mehreren hundert oder tausend Zahlen — etwa [0,12, -0,45, 0,87, ...]. Die Zahlen sind so gelernt, dass sie die Bedeutung des Inhalts kodieren: „Hund" und „Welpe" liegen im Vektorraum dicht beieinander, „Hund" und „Auto" weit auseinander. Die Ähnlichkeit zweier Inhalte lässt sich dann als Abstand ihrer Vektoren berechnen.
Wofür werden Embeddings verwendet?
- Semantische Suche: Findet Dokumente nach Bedeutung statt nach exakten Wörtern.
- RAG: Retrieval-Augmented Generation nutzt Embeddings, um passende Wissensbausteine für eine Antwort zu finden.
- Empfehlungen: Ähnliche Produkte, Filme oder Artikel werden über Vektorabstände bestimmt.
- Klassifikation: Texte werden über ihre Vektorposition automatisch Kategorien zugeordnet.
Embeddings und große Sprachmodelle
Große Sprachmodelle wie LLMs arbeiten intern mit Embeddings: Jedes Token wird in einen Vektor übersetzt, bevor es durch die Transformer-Architektur läuft. Auch Bilder, Audio und Code lassen sich auf diese Weise repräsentieren — deshalb sind Embeddings der Schlüssel für multimodale KI.
Verwandte Grundlagen: Machine Learning, Halluzination, Prompt-Engineering.