Modellselektion ist der Prozess, aus mehreren Kandidatenmodellen dasjenige auszuwählen, das auf ungesehenen Daten am besten generalisiert. Dabei geht es nicht nur um verschiedene Algorithmen, sondern auch um Varianten desselben Algorithmus mit unterschiedlicher Komplexität oder unterschiedlichen Hyperparametern — häufig im Rahmen einer systematischen Hyperparameter-Optimierung.
Ehrliche Bewertung
Die Auswahl darf nicht auf dem Fehler auf den Trainingsdaten beruhen — dort gewinnt immer das komplexeste Modell. Stattdessen schätzt man die Generalisierungsleistung mit Cross-Validation oder einem strikt getrennten Holdout-Testdatensatz. Werden Hyperparameter mit Hilfe der Validierungsdaten optimiert, braucht man für die finale Schätzung eine dritte, unberührte Testmenge.
Metriken und Informationskriterien
Welche Metrik zählt, hängt vom Problem ab: AUC-ROC oder Precision-Recall bei Klassifikation, RMSE bei Regression. Statistische Modelle vergleicht man auch über Informationskriterien wie AIC oder BIC, die die Modellkomplexität bestrafen. Nested Cross-Validation verhindert, dass die Auswahl selbst die Schätzung verfälscht (Leakage).
Tradeoff einbeziehen
Modellselektion ist eng mit dem Bias-Variance-Tradeoff verbunden: Das gewählte Modell soll weder zu einfach (hoher Bias) noch zu komplex (hohe Varianz) sein.
Verwandte Grundlagen: Cross-Validation, Kreuzvalidierung, Modell.