Bag of Words (dt. „Wortsack") ist ein einfaches, aber fundamentales Modell der Textverarbeitung: Ein Dokument wird als ungeordnete Sammlung seiner Wörter betrachtet — die Reihenfolge wird ignoriert, nur die Häufigkeit zählt. Es ist die Basis vieler Verfahren im Information Retrieval und in der Textklassifikation.
So funktioniert es
Ein Vokabular enthält alle Wörter (Tokens) des Korpus. Jedes Dokument wird als Vektor dargestellt: Jede Dimension steht für ein Wort des Vokabulars, der Wert für die Anzahl des Vorkommens (oder 0/1 bei binärer Variante). Beispiel: „Die Katze jagt die Maus" → Vektor mit „die": 2, „Katze": 1, „jagt": 1, „Maus": 1.
Vorverarbeitung
Vor der Vektorisierung werden typischerweise die Tokenisierung, das Entfernen von Stoppwörtern („und", „der", „ist") und die Normalisierung (Kleinschreibung, Stemming) durchgeführt. Diese Schritte verbessern die Qualität der Vektoren erheblich und sind Teil der Datenbereinigung.
Stärken und Grenzen
- Stärken: Einfach, schnell, interpretierbar; funktioniert gut für Textklassifikation und Suchmaschinen.
- Grenzen: Hohe Dimension (ein Vektor pro Vokabel), sehr dünn besetzt; ignoriert Wortreihenfolge und Semantik („Hund beißt Mann" vs. „Mann beißt Hund" sind identisch).
Weiterentwicklungen
Die Gewichtung TF-IDF ersetzt die rohen Zählwerte durch Wichtigkeitswerte. Dichte semantische Repräsentationen wie Embeddings und Wortvektoren (word2vec) beheben die fehlende Semantik. Für die Klassifikation von Texten ist Bag of Words mit TF-IDF bis heute ein solider Baseline-Ansatz.
Verwandte Grundlagen: Tokenisierung, TF-IDF, Semantische Suche, Klassifikation.