Die Wortfehlerrate (englisch Word Error Rate, WER) ist die Standardmetrik für automatische Spracherkennung (ASR). Sie gibt an, wie stark die erkannte Wortfolge von der tatsächlich gesprochenen Referenz abweicht — je niedriger, desto besser.
Berechnung
Die erkannte Wortfolge wird per optimalem Alignment mit der Referenz verglichen. Dabei zählen drei Fehlertypen: Substitutionen (falsches Wort statt richtigem), Löschungen (Wort fehlt) und Einfügungen (zusätzliches Wort). Die Formel lautet: WER = (Substitutionen + Löschungen + Einfügungen) / Anzahl der Referenzwörter. Die Berechnung entspricht der Levenshtein-Distanz auf Wortebene, also der minimalen Zahl von Wort-Operationen, um eine Folge in die andere zu überführen. Ein WER von 0 bedeutet perfekte Erkennung; Werte über 1 sind möglich, wenn viele Einfügungen auftreten.
In der Praxis
- Gute Erkennungssysteme erreichen bei klarer Sprache und Studio-Audio etwa 5-15 % Wortfehlerrate; schwierige Bedingungen (Lärm, Akzente, Telefon) erhöhen den Wert deutlich.
- Vor dem Vergleich muss der Text normalisiert werden: Groß-/Kleinschreibung, Zahlen und Interpunktion werden vereinheitlicht, sonst sind Ergebnisse nicht vergleichbar.
- Für Sprachen mit zeichenbasierter Schrift (Chinesisch, Japanisch) wird stattdessen die Zeichenfehlerrate (Character Error Rate, CER) verwendet.
- Schwäche: WER ist rein wörtlich — eine korrekte Umformulierung zählt als Fehler. Ergänzend kommen deshalb auch semantische Metriken wie BERTScore zum Einsatz.
Verwandte Grundlagen: BERTScore, METEOR-Score, LLM-Evaluation, Large Language Model, Maschinelles Lernen.