Lemmatisierung (englisch lemmatization) führt Wortformen mithilfe eines Wörterbuchs und grammatikalischer Analyse auf ihre Grundform zurück, das sogenannte Lemma. So wird „lief" zu „laufen", „besser" zu „gut" und „Häuser" zu „Haus". Anders als die Stemmung liefert die Lemmatisierung immer ein echtes Wort der Sprache.
Wie funktioniert Lemmatisierung?
Der Prozess besteht typischerweise aus zwei Schritten: Zuerst wird die Wortart des Tokens bestimmt (Part-of-Speech-Tagging, etwa Nomen, Verb oder Adjektiv), dann schlägt das System die passende Grundform im Wörterbuch nach. Deutsche Komposita und Flexionsformen stellen dabei besondere Anforderungen, weil die Sprache viele Endungen und unregelmäßige Formen kennt. Werkzeuge wie spaCy, NLTK mit WordNet oder spezialisierte deutsche Tagger wie der IWNLP verwenden unterschiedlich große Wortschätze.
Einsatz in der Textanalyse
Die Lemmatisierung ist ein Kernschritt der Textnormalisierung nach der Tokenisierung. Sie verbessert die Qualität von Verfahren, die auf Wortformen aufbauen: In Wortvektoren und Modellen wie Word2Vec werden Wortformen vor dem Training häufig lemmatisiert, damit seltene Flexionsformen nicht als eigene Vektoren gelernt werden müssen. Auch beim Aufbau von Wortschatz und Suchindizes führt die Grundform zu kompakteren und konsistenteren Daten.
Lemmatisierung im Vergleich zur Stemmung
Die Stemmung ist schneller und benötigt kein Wörterbuch, erzeugt aber oft keine echten Wörter und vermischt gelegentlich Bedeutungen. Die Lemmatisierung ist genauer und sprachlich korrekt, dafür rechenintensiver und abhängig von der Qualität des Wörterbuchs. In der Praxis entscheidet der Anwendungsfall: Volltextsuche kommt häufig mit Stemming aus, während Aufgaben wie Klassifikation oder semantische Analyse von lemmatisierten Formen profitieren. Grundlagen dazu finden sich im maschinellen Lernen und bei den Embeddings.
Verwandte Grundlagen: Stemmung, Stoppwort, Wortvektor, Word2Vec.