Momentum (deutsch: Impuls, Trägheit) ist ein Verfahren, das den Gradientenabstieg beschleunigt, indem es die Gewichts-Updates wie eine Kugel mit Schwung behandelt: Ein Teil des vorherigen Update-Vektors wird zum aktuellen Gradienten addiert.
Warum Momentum?
Ohne Momentum oszilliert der Optimizer in steilen Tälern der Verlustfunktion stark hin und her und kommt nur langsam voran. Momentum glättet diese Zickzack-Bewegung: Gegensätzliche Gradientenanteile heben sich teilweise auf, während gleichgerichtete Anteile sich verstärken – das Modell „rollt" mit Schwung in Richtung Minimum.
So funktioniert es
Bei jedem Schritt wird ein Geschwindigkeitsvektor v gepflegt:
v = mue * v - learning_rate * gradient
Gewicht = Gewicht + vDer Parameter mue (typisch 0.9) bestimmt, wie viel Trägheit erhalten bleibt. Ein Wert von 0 entspricht dem klassischen SGD ohne Momentum, ein Wert nahe 1 macht das Verfahren sehr träge.
Vorteile und Grenzen
- + Schnellere Konvergenz in flachen Regionen und entlang sanfter Abhänge.
- + Dämpft Oszillationen und kann helfen, flache lokale Minima zu überwinden.
- - Zu viel Schwung kann über das Minimum hinausschießen; die Learning Rate muss dann kleiner gewählt werden.
Momentum ist ein Baustein moderner Optimizer wie Adam und RMSProp und gehört zu den wichtigsten Hyperparametern beim Training neuronaler Netze.
Verwandte Grundlagen: Learning Rate, Early Stopping, Backpropagation.