AUC-ROC ist die Standardmethode, um die Güte eines Klassifikationsmodells über alle Schwellwerte hinweg zu beurteilen. Die ROC-Kurve (Receiver Operating Characteristic) trägt die True-Positive-Rate (TPR) gegen die False-Positive-Rate (FPR) auf — für jeden möglichen Entscheidungsschwellwert des Modells einen Punkt.
So funktioniert die ROC-Kurve
Ein Modell gibt für jede Vorhersage eine Wahrscheinlichkeit aus. Verschiebt man den Schwellwert, ab dem eine Probe als positiv gilt, wandert der Punkt auf der Kurve: Bei niedrigem Schwellwert werden viele Proben positiv klassifiziert (hohe TPR, aber auch hohe FPR), bei hohem Schwellwert nur noch die sichersten (niedrige TPR und FPR). Die ROC-Kurve zeigt damit den grundsätzlichen Trade-off zwischen Recall und falschen Alarmen.
AUC: Die Fläche unter der Kurve
Die AUC (Area Under the Curve) ist die Fläche unter der ROC-Kurve und fasst die gesamte Kurve in einer Zahl zusammen:
- AUC = 1,0: perfekte Trennung der Klassen
- AUC = 0,5: das Modell rät — die Kurve liegt auf der Diagonalen
- AUC = 0,0: das Modell klassifiziert systematisch falsch (man kann die Vorhersagen invertieren)
Interpretation: Die AUC ist die Wahrscheinlichkeit, dass ein zufällig gewähltes positives Beispiel vom Modell höher bewertet wird als ein zufällig gewähltes negatives. Ein großer Vorteil: Die AUC ist unabhängig vom gewählten Schwellwert und liefert so eine robuste Gesamteinschätzung, ohne dass man einen konkreten Schwellwert festlegen muss.
Grenzen und Alternativen
Bei stark unbalancierten Datensätzen (sehr wenige positive Fälle) überschätzt die ROC-AUC die Leistung oft, weil die FPR durch die vielen negativen Beispiele klein bleibt. Dann ist die Precision-Recall-Kurve aussagekräftiger. Wer eine einzelne Zahl für unbalancierte Daten braucht, nutzt eher den F1-Score.
Verwandte Grundlagen: Precision, Recall, Accuracy, Confusion Matrix, Cross-Validation.