TF-IDF (Term Frequency – Inverse Document Frequency) ist ein statistisches Maß aus dem Information Retrieval, das bewertet, wie wichtig ein Wort für ein Dokument innerhalb eines Dokumentsatzes (Korpus) ist. Es kombiniert die Häufigkeit im Dokument (TF) mit der Seltenheit über den Korpus (IDF).
Die Formel
TF (Term Frequency) zählt, wie oft ein Wort in einem Dokument vorkommt, oft normalisiert durch die Gesamtzahl der Wörter. IDF (Inverse Document Frequency) misst die Seltenheit: idf = ln(N / df) + 1, wobei N die Anzahl der Dokumente und df die Anzahl der Dokumente ist, die das Wort enthalten. Der TF-IDF-Wert ist das Produkt beider Größen.
Was der Wert bedeutet
- Ein Wort, das in einem Dokument häufig und im Korpus selten vorkommt, erhält einen hohen TF-IDF-Wert — es ist charakteristisch für das Dokument.
- Stoppwörter wie „der" oder „und" kommen überall vor → niedriges IDF → geringer Wert.
- Wörter, die nur in einem Dokument stehen, sind gute Suchbegriffe und Themen-Indikatoren.
Anwendungen
TF-IDF wird zur Schlüsselwort-Extraktion, in Suchmaschinen (Ranking), in der Textklassifikation und als Gewichtung für Bag-of-Words-Vektoren eingesetzt. Es ist ein bewährter Baseline-Ansatz vor Embeddings und neuronalen Verfahren.
Abgrenzung
TF-IDF arbeitet auf der reinen Zählstatistik und kennt keine Bedeutung. Die Semantische Suche und Verfahren wie Retrieval-Augmented Generation (RAG) nutzen dagegen dichte Vektoren aus Embeddings, um ähnliche Bedeutungen zu finden. TF-IDF bleibt durch seine Effizienz und Interpretierbarkeit im Einsatz.
Verwandte Grundlagen: Bag of Words, Tokenisierung, Klassifikation, Maschinelles Lernen.