Die Hyperparameter-Optimierung (auch Hyperparameter-Tuning) sucht systematisch nach den Einstellungen, mit denen ein Modell am besten generalisiert. Anders als die gelernten Gewichte werden Hyperparameter vor dem Training festgelegt: Lernrate, Batch-Größe, Anzahl Epochen, Regularisierungsstärke oder Tiefe eines Netzwerks. Sie ist damit ein zentraler Baustein der Modellselektion und greift direkt in den Bias-Variance-Tradeoff ein.
Grid Search
Grid Search testet alle Kombinationen aus fest vorgegebenen Werterastern — vollständig, aber teuer: Bei vielen Hyperparametern wächst die Zahl der Kombinationen exponentiell (Fluch der Dimensionalität). Bergstra und Bengio zeigten, dass Grid Search bei gleichem Budget oft schlechter abschneidet als Zufallssuche.
Random Search
Random Search zieht Wertekombinationen zufällig aus den Wertebereichen. Dadurch wird jeder Hyperparameter mit hoher Wahrscheinlichkeit in verschiedenen Abstufungen getestet — auch die eigentlich wichtigen. Bei gleichem Rechenbudget findet Random Search häufig bessere Modelle als Grid Search.
Bayes'sche Optimierung
Bayes'sche Optimierung baut aus bisherigen Trainingsläufen ein Surrogatmodell und schlägt gezielt die nächsten Kandidaten vor. Sie braucht deutlich weniger Evaluierungen — Standard für teure Trainingsläufe großer Modelle. Verwandt: Grid Search, Learning Rate.
Verwandte Grundlagen: Hyperparameter, Grid Search, Cross-Validation.