BLEU (Bilingual Evaluation Understudy) ist die Standardmetrik für maschinelle Übersetzung. Sie vergleicht eine maschinell erzeugte Übersetzung automatisch mit einer oder mehreren menschlichen Referenzübersetzungen und bewertet, wie viele Wortfolgen übereinstimmen.
Wie BLEU funktioniert
BLEU kombiniert zwei Ideen: die modifizierte n-Gramm-Präzision (Anteil der n-Wort-Folgen der Maschinenübersetzung, die auch in der Referenz vorkommen — typischerweise für n=1 bis n=4) und eine Brevity Penalty (Kürzestrafen). Die Kürzestrafen verhindern, dass eine zu kurze Übersetzung mit nur wenigen, aber korrekten Wörtern eine hohe Punktzahl bekommt. Entwickelt wurde BLEU 2002 von Papineni, Roukos, Ward und Zhu bei IBM.
Interpretation und Grenzen
- BLEU liegt zwischen 0 und 1 (oft als 0-100 angegeben); höher ist besser.
- Gute maschinelle Übersetzungen erreichen je nach Sprachpaar etwa 30-50 Punkte — ein Wert nahe 100 ist praktisch unmöglich, weil es viele korrekte Übersetzungen gibt.
- BLEU wird auf ganzen Textkorpora berechnet; für einzelne Sätze ist die Aussagekraft gering.
- Schwäche: Semantisch korrekte Umformulierungen, die andere Wörter wählen, werden bestraft — BLEU misst Oberflächenähnlichkeit, kein Verständnis.
Verwandte Grundlagen: Perplexity, ROUGE-Score, N-Gramm, LLM-Evaluation.