LLM-Evaluation bezeichnet die systematische Messung der Fähigkeiten großer Sprachmodelle mit standardisierten Aufgaben, Metriken und Benchmarks. Sie ist die Grundlage dafür, Modelle objektiv zu vergleichen, Fortschritte zu belegen und Schwächen gezielt zu beheben.
Was gemessen wird
Eine Evaluation umfasst typischerweise drei Elemente: einen Datensatz mit klar definierten Aufgaben, eine Metrik zum automatischen Bewerten der Antworten und ein Protokoll für die Ausführung – etwa mit oder ohne Beispiele (Few-Shot) oder mit sichtbaren Denkschritten. Je nach Ziel kommen unterschiedliche Metriken zum Einsatz: Accuracy für Wissensfragen, F1 für Extraktion, Perplexity für die Qualität von Textmodellen, BLEU für Übersetzungen und ROUGE für Zusammenfassungen, METEOR für synonymreiche Übersetzungen, BERTScore für semantische Ähnlichkeit sowie WER für Spracherkennung oder Pass@k für Code-Generierung.
Bekannte Benchmarks und Werkzeuge
- MMLU misst Allgemeinwissen über 57 akademische Fächer.
- GSM8K testet mehrschrittiges mathematisches Denken.
- HELM (Holistic Evaluation of Language Models, Stanford CRFM 2022, arXiv 2211.09110) standardisiert Szenarien und Metriken über viele Benchmarks hinweg.
- Das lm-evaluation-harness von EleutherAI bündelt über 60 Benchmarks in einem einheitlichen Framework.
Typische Fallstricke
Zwei Probleme verzerren Ergebnisse: Kontamination, wenn Trainingsdaten Teile des Testdatensatzes enthalten, und Benchmark-Sättigung, wenn Modelle die Aufgaben nicht mehr differenzieren können. Seriöse Evaluation hält deshalb Testdaten sauber von Trainingsdaten getrennt und berichtet Metriken transparent.
Verwandte Grundlagen: MMLU, GSM8K, Large Language Model, In-Context-Learning, Benchmark, Maschinelles Lernen.