Word2Vec ist ein 2013 von Tomáš Mikolov und Kollegen bei Google veröffentlichtes Verfahren, das aus großen Textmengen Wortvektoren lernt. Es war der Durchbruch, der Wörter als dichte Vektoren mit semantischer Bedeutung praktikabel machte — und gilt als konzeptionelle Grundlage moderner Sprachmodelle.
Zwei Architekturen
Word2Vec trainiert ein flaches neuronales Netz mit einer versteckten Schicht (ohne Aktivierungsfunktion) auf einer von zwei Aufgaben:
- CBOW (Continuous Bag of Words): Aus den Kontextwörtern wird das mittlere Wort vorhergesagt — schnell, gut für häufige Wörter.
- Skip-gram: Aus dem mittleren Wort werden die Kontextwörter vorhergesagt — langsamer, aber besser für seltene Wörter.
Die gelernten Gewichte der versteckten Schicht sind die Wortvektoren. Der Trick des Negative Sampling (zweite Veröffentlichung 2013) machte das Training auf Milliarden Wörtern auf einem einzelnen Rechner praktikabel.
Warum Word2Vec wichtig ist
- Wörter mit ähnlicher Bedeutung liegen im Vektorraum nahe beieinander
- Analogie-Aufgaben werden lösbar („König − Mann + Frau ≈ Königin")
- Die Vektoren dienen als Eingabe für Textklassifikation, Ähnlichkeitssuche und RAG-Systeme
Heute verwenden Large Language Models kontextuelle Embeddings statt fester Wortvektoren — das Lernprinzip von Word2Vec lebt darin fort.
Verwandte Grundlagen: Wortvektor, N-Gramm, Tokenisierung, Bag of Words.