Optimizer (deutsch: Optimierer) sind Algorithmen im maschinellen Lernen, die die Gewichte eines Modells so anpassen, dass die Loss Function minimiert wird. Sie entscheiden, in welche Richtung und wie weit sich jedes Gewicht bei jedem Trainingsschritt bewegt.
Die Grundidee
Beim Training eines neuronalen Netzes liefert die Backpropagation für jedes Gewicht einen Gradienten – die Richtung, in der der Fehler am stärksten steigt. Der Optimizer geht in die entgegengesetzte Richtung und aktualisiert die Gewichte. Die Schrittgröße bestimmt die Learning Rate.
Wichtige Optimizer
- SGD (Stochastic Gradient Descent): der klassische Gradient Descent, bei dem pro Schritt nur ein zufälliges Mini-Batch ausgewertet wird – einfach, aber oft langsam und anfällig für Oszillation.
- Momentum: beschleunigt SGD, indem ein Teil des vorherigen Update-Vektors übernommen wird – siehe Momentum-Verfahren.
- Adam (Adaptive Moment Estimation, 2015): kombiniert Momentum mit einer adaptiven Schrittgröße pro Parameter und ist in der Praxis der Standard-Optimizer für Deep Learning.
- RMSProp: passt die Schrittgröße an die aktuelle Gradientenstärke an, besonders nützlich bei sehr unebenen Verlustflächen.
Hyperparameter
Zu den typischen Einstellungen gehören Learning Rate, Batch Size, Momentum-Faktor und Gewichtsabfall (Weight Decay). Eine zu hohe Learning Rate führt zu Überschießen, eine zu niedrige zu sehr langsamen Fortschritt – beide Fälle erkennt man an Verlauf von Trainings- und Validierungsfehler.
Verwandte Grundlagen: Epoch, Early Stopping, Regularisierung.