Weight Decay (deutsch: Gewichtsabfall) ist eine Regularisierungstechnik im maschinellen Lernen, die verhindert, dass die Gewichte eines Modells zu groß werden. Sie ergänzt die Loss-Funktion um einen Strafterm, der proportional zum Quadrat der Gewichte wächst – deshalb wird sie auch als L2-Regularisierung bezeichnet.
Wie Weight Decay funktioniert
Beim Training wird zum ursprünglichen Verlust ein Zusatzterm addiert: L = L_original + λ/2 · Σ w². Der Faktor λ (Lambda) steuert die Stärke der Regularisierung. Bei einfachem stochastischem Gradientenabstieg wirkt das wie eine Multiplikation aller Gewichte mit (1 − λ · η) vor jedem Update – die Gewichte „verfallen“ also leicht (daher der Name). Große Gewichte erzeugen oft stark gekrümmte Entscheidungsgrenzen, die sich zu genau an die Trainingsdaten anschmiegen; Weight Decay hält die Gewichte klein und reduziert so Overfitting.
AdamW und entkoppelter Weight Decay
Bei adaptiven Optimierern wie Adam ist klassisches L2 nicht direkt mit Weight Decay identisch. Der 2019 von Loshchilov und Hutter vorgeschlagene Optimierer AdamW entkoppelt den Gewichtsabfall von der adaptiven Lernrate und ist heute in PyTorch und vielen Transformers-Bibliotheken der Standard. Typische Werte für λ liegen zwischen 0,0001 und 0,1, häufig wird mit 0,01 oder 0,001 gearbeitet.
Weight Decay wirkt gut zusammen mit anderen Regularisierungsverfahren wie Dropout und Label Smoothing. Im Gegensatz zur Modellkompression, bei der ein fertiges Modell verkleinert wird, ist Weight Decay eine Maßnahme während des Trainings.
Praxis-Tipps
- Bei AdamW den Decay auf die Gewichte, nicht auf Bias und Batch-Norm-Parameter anwenden.
- Weight Decay ersetzt kein Early Stopping – beide kombinieren.
- Gemeinsam mit Gradient Clipping stabilisiert er das Training tiefer Netze.
Verwandte Grundlagen: Regularisierung, Overfitting, Dropout, Learning Rate.