Ein Learning Rate Scheduler passt die Learning Rate während des Trainings automatisch an. Statt mit einer festen Schrittgröße zu arbeiten, folgt das Training einem vorgegebenen Zeitplan — das verbessert Konvergenz und Endergebnis.
Warum feste Lernraten suboptimal sind
Eine hohe Learning Rate macht anfangs schnelle Fortschritte, oszilliert aber nahe dem Optimum; eine niedrige kommt präzise an, braucht aber sehr lange. Ein Scheduler kombiniert beides: großzügige Schritte am Anfang, feine Korrekturen am Ende.
Verbreitete Strategien
- Step Decay: Die Lernrate wird nach einer festen Anzahl von Epochen um einen Faktor (z.B. 0,1) verringert.
- Exponential Decay: Kontinuierlicher Abfall über die Zeit — einfach und bewährt.
- Cosine Annealing: Folgt einer Kosinuskurve von der Start- zur Minimalrate; in modernen Deep-Learning-Pipelines sehr verbreitet.
- Warmup: Startet mit einer sehr kleinen Rate und erhöht sie langsam — stabilisiert besonders das Training großer Modelle und Transformer.
Zusammenspiel mit Optimierern
Scheduler arbeiten eng mit dem Optimizer zusammen, der die eigentlichen Gewichts-Updates über den Gradient Descent durchführt. Adaptive Verfahren wie Adam haben eine eigene Schrittweitensteuerung, profitieren aber dennoch von einem Scheduler. Zusammen mit Early Stopping, Batch Normalization, Weight Initialization und Momentum gehört der Scheduler zu den Standardbausteinen stabilen Trainings.
Praxis-Tipp
PyTorch bietet torch.optim.lr_scheduler mit StepLR, ExponentialLR, CosineAnnealingLR und Warmup-Varianten; TensorFlow kennt analoge Callbacks. Als Faustregel gilt: Erst einen simplen Step- oder Kosinus-Decay einstellen, bevor man exotischere Zeitpläne ausprobiert.
Verwandte Grundlagen: Weight Initialization, Batch Normalization, Epoche, Batch Size.