Stoppwörter (englisch stop words) sind Wörter, die in einem Text so häufig vorkommen, dass sie für die Suche oder die Textanalyse kaum Informationswert besitzen. Typische Beispiele sind Artikel, Präpositionen, Konjunktionen und Pronomen wie „der", „die", „und", „oder", „mit", „auf", „ich", „du", „wir".
Warum Stoppwörter entfernen?
In der Tokenisierung wird ein Text in einzelne Tokens zerlegt. Würden dabei alle Wörter gleich behandelt, dominierten die häufigen Funktionswörter die Statistik: In einem Bag of Words stünden „der" und „und" an der Spitze der Häufigkeitsliste, obwohl sie kaum etwas über den Inhalt aussagen. Die Stoppwort-Entfernung filtert diese Wörter vor der Weiterverarbeitung heraus.
Vorteile und Grenzen
- Weniger Rauschen: Das Vokabular wird kleiner, die verbleibenden Wörter tragen mehr Bedeutung.
- Schnellere Verarbeitung: Weniger Tokens müssen indexiert, verglichen und gespeichert werden.
- Bessere Relevanz: Im Information Retrieval steigt die Treffergenauigkeit, weil Suchanfragen wie „wie funktioniert eine Datenbank" auf die Kernbegriffe reduziert werden.
Die Grenze liegt im Kontext: Für manche Analysen sind Funktionswörter wichtig, etwa bei der Stimmungsanalyse oder der Erkennung von Verneinungen („nicht", „nie"). Auch Fachtexte können Wörter enthalten, die für einen allgemeinen Stoppwort-Katalog zu spezifisch sind. Stoppwort-Listen sind deshalb sprach- und domänenabhängig.
Praktische Umsetzung
Viele NLP-Bibliotheken bringen fertige Listen mit, etwa das Natural Language Toolkit (NLTK) oder spaCy. Suchmaschinen wie Lucene verwenden eigene Listen pro Sprache. Auch das gewichtete Verfahren TF-IDF mildert das Problem der häufigen Wörter, weil es die Seltenheit eines Begriffs über den gesamten Textbestand einrechnet.
Verwandte Grundlagen: Stemmung, Lemmatisierung, Tokenisierung, Bag of Words.