BERTScore ist eine Metrik zur Bewertung generierter Texte, die statt wörtlicher Übereinstimmung die semantische Ähnlichkeit misst. Sie wurde 2020 von Tianyi Zhang und Kollegen vorgeschlagen (arXiv 1904.09675) und nutzt die kontextuellen Wort-Embeddings eines vortrainierten Modells wie BERT, um Kandidatentext und Referenztext Token für Token zu vergleichen.
Wie BERTScore funktioniert
Jedes Token des Kandidatentextes wird mit dem ähnlichsten Token der Referenz abgeglichen (greedy Matching über die Kosinus-Ähnlichkeit der Embeddings). Daraus ergeben sich wie bei anderen Metriken Precision, Recall und F1: Precision fragt, ob jedes Token des Kandidaten semantisch in der Referenz verankert ist; Recall, ob die Inhalte der Referenz im Kandidaten aufgegriffen werden. Als Gesamtwert dient meist das F1-Maß zwischen 0 und 1.
Vorteile gegenüber wörtlichen Metriken
- BERTScore erkennt Paraphrasen und Synonyme: „Der Hund jagt den Ball" und „Ein Hund läuft dem Ball hinterher" sind semantisch ähnlich, obwohl kaum Wörter übereinstimmen.
- Es überwindet damit eine zentrale Schwäche von ROUGE und BLEU, die nur Oberflächenähnlichkeit belohnen.
- Eingesetzt wird BERTScore bei Übersetzung, Zusammenfassung, Bildbeschreibung und Dialoggenerierung.
- Nachteil: Die Berechnung ist rechenintensiv (Embedding-Modell nötig) und die Werte sind weniger direkt interpretierbar als einfache Überlappungsmaße.
Verwandte Grundlagen: ROUGE-Score, Perplexity, METEOR-Score, Wortfehlerrate, Embedding, LLM-Evaluation, Maschinelles Lernen.