METEOR (Metric for Evaluation of Translation with Explicit ORdering) ist eine Metrik für maschinelle Übersetzung, die anders als BLEU nicht nur exakte Wortfolgen zählt, sondern auch Synonyme, Wortstämme und Umschreibungen erkennt. Entwickelt wurde sie 2005 von Satanjeev Banerjee und Alon Lavie an der Carnegie Mellon University, um eine bessere Übereinstimmung mit menschlichen Urteilen zu erreichen.
Wie METEOR funktioniert
METEOR bildet zunächst ein Alignment zwischen der maschinellen Übersetzung und einer Referenzübersetzung. Wörter gelten als passend, wenn sie exakt übereinstimmen, denselben Wortstamm haben (Stemming), Synonyme sind oder als Paraphrase erkannt werden. Aus den alignierten Wörtern berechnet METEOR ein harmonisches Mittel aus Präzision und Recall — wobei der Recall stärker gewichtet wird (Faktor 3), ein bewusster Gegenentwurf zur reinen Präzisionsorientierung von BLEU. Eine Fragmentierungsstrafe (fragmentation penalty) berücksichtigt zusätzlich die Wortreihenfolge: Sind die passenden Wörter in viele einzelne Blöcke zersplittert, sinkt der Wert.
Stärken und Grenzen
- METEOR korreliert in Studien besser mit menschlichen Bewertungen als BLEU, weil semantisch gleichwertige Umformulierungen nicht bestraft werden.
- Der Wert liegt zwischen 0 und 1; höher ist besser.
- METEOR braucht sprachspezifische Ressourcen (Stemmer, Synonymwörterbuch), was den Einsatz außerhalb des Englischen erschwert.
- Neben der Übersetzung wird METEOR auch zur Bewertung von Bildbeschreibungen (Image Captioning) eingesetzt.
Verwandte Grundlagen: BLEU-Score, ROUGE-Score, BERTScore, Wortfehlerrate, LLM-Evaluation, Maschinelles Lernen.