Batch Normalization (auch Batch Norm) ist eine 2015 von Sergey Ioffe und Christian Szegedy eingeführte Technik, die die Aktivierungen jeder Schicht eines neuronalen Netzes auf Mittelwert 0 und Standardabweichung 1 normalisiert. Sie macht das Training spürbar schneller und stabiler.
So funktioniert es
Pro Mini-Batch berechnet die Schicht den Mittelwert und die Standardabweichung der Aktivierungen, normalisiert sie und wendet anschließend zwei lernbare Parameter an, die die ursprüngliche Skalierung wiederherstellen können. Dadurch bleiben die Eingabeverteilungen der Schichten während des Trainings konstant — das reduziert die sogenannte Internal Covariate Shift und erlaubt deutlich höhere Learning Rates.
Vorteile
- Höhere Lernraten: Das Training konvergiert schneller, oft um ein Vielfaches (im Original-Paper bis zu 14x schneller auf ImageNet).
- Weniger Empfindlichkeit: Die Initialisierung der Gewichte muss nicht mehr so sorgfältig gewählt werden.
- Regularisierende Wirkung: Das Rauschen der Batch-Statistiken wirkt ähnlich wie Dropout und kann teilweise dessen Einsatz überflüssig machen — zusammen mit Weight Decay und Regularisierung lässt sich Overfitting gut eindämmen.
Training und Inferenz
Im Training nutzt Batch Norm die Statistiken des aktuellen Mini-Batches. Bei der Inferenz (Vorhersage) verwendet sie gemittelte Laufstatistiken, die während des Trainings fortlaufend aktualisiert wurden. Die Batch Size spielt dabei eine Rolle: Sehr kleine Batches erzeugen unruhige Statistiken, weshalb Batch Norm bei stark mini-batch-basiertem Training an ihre Grenzen stößt.
Verwandte Grundlagen: Weight Initialization, Learning Rate Scheduler, Epoche, KI-Training.