Wortvektor (englisch Word Embedding oder Word Vector) ist eine dichte, niedrigdimensionale Zahlen-Repräsentation eines Wortes — typischerweise 100 bis 300 Dimensionen. Wörter, die ähnliche Bedeutung haben, liegen im Vektorraum nahe beieinander. Wortvektoren sind die Grundlage fast aller Verfahren des maschinellen Sprachverstehens (NLP).
Wie Wortvektoren entstehen
Klassische Verfahren lernen die Vektoren aus großen Textmengen:
- Word2Vec (2013): neuronales Lernen aus Wortkontexten
- GloVe (2014): Faktorisierung von Wort-Kookkurrenz-Matrizen
- FastText (2016): berücksichtigt zusätzlich Teilwörter (Subword-Information)
Die Ähnlichkeit zweier Wörter misst man meist über die Kosinus-Ähnlichkeit ihrer Vektoren. Ein bekanntes Ergebnis: Vektor-Arithmetik wie „König − Mann + Frau ≈ Königin" funktioniert überraschend gut.
Statische vs. kontextuelle Embeddings
Statische Wortvektoren (Word2Vec, GloVe, FastText) liefern für jedes Wort genau einen festen Vektor — das Problem der Mehrdeutigkeit bleibt („Bank" als Geldinstitut oder Sitzgelegenheit). Kontextuelle Embeddings (BERT, GPT) passen den Vektor je nach Satzkontext an und sind heute der Standard. Wortvektoren dienen dort meist als erste Schicht des Modells.
Verwandte Grundlagen: Word2Vec, N-Gramm, Embedding, Semantische Suche.