Die Learning Rate (Lernrate) bestimmt, wie groß die Schritte sind, mit denen ein neuronales Netz beim Gradient Descent seine Gewichte anpasst. Sie ist der wichtigste einzelne Hyperparameter beim Training von KI-Modellen.
Zu hoch oder zu niedrig?
- Zu hoch: Das Modell überspringt das Optimum, die Loss-Kurve oszilliert oder divergiert — das Training schlägt fehl.
- Zu niedrig: Das Modell nähert sich nur millimeterweise an; das Training dauert extrem lange und bleibt oft in Plateaus stecken.
Ein typischer Startwert für viele Modelle ist 0,001 bis 0,01. Der Optimierer Adam verwendet standardmäßig 0,001 und passt die Schrittgröße pro Parameter adaptiv an.
Lernraten-Schedules
Oft startet man mit einer größeren Lernrate und reduziert sie im Verlauf des Trainings — etwa nach jeder Epoche (Decay) oder über Warmup-Phasen. Die Batch Size beeinflusst die passende Lernrate: Größere Batches erlauben meist größere Lernraten (Linear Scaling Rule).
Praxis-Tipp
Die Lernrate wird typischerweise vor den anderen Hyperparametern eingestellt. Eine einfache Faustregel: Werte in Zehnerpotenzen testen (0,1 / 0,01 / 0,001 / 0,0001) und die Loss-Kurve beobachten.
Verwandte Grundlagen: Training, Loss Function, Backpropagation.