Eine Epoche (Epoch) ist ein kompletter Durchlauf des Lernalgorithmus durch den gesamten Trainingsdatensatz. Erst nach einer Epoche hat das Modell jedes Beispiel einmal gesehen und seine Gewichte entsprechend angepasst.
Was passiert in einer Epoche?
Beim Training neuronaler Netze wird der Datensatz nicht als Ganzes verarbeitet, sondern in Batch Size große Portionen aufgeteilt. Eine Epoche ist abgeschlossen, wenn alle Batches einmal verarbeitet wurden. Die Reihenfolge der Beispiele wird häufig zwischen den Epochen durchmischt (Shuffling), damit das Modell keine feste Reihenfolge auswendig lernt.
Wie viele Epochen sind richtig?
- Zu wenige Epochen: Das Modell ist untertrainiert und erkennt Muster nicht (Underfitting).
- Zu viele Epochen: Das Modell beginnt, die Trainingsdaten auswendig zu lernen (Overfitting).
- Die richtige Zahl findet man durch Beobachten der Loss Function auf einem Validierungsdatensatz: Sobald sie nicht mehr sinkt oder wieder steigt, stoppt man das Training (Early Stopping).
Zusammenspiel mit anderen Hyperparametern
Eine hohe Learning Rate erreicht das Optimum oft in wenigen Epochen, eine kleine benötigt mehr Epochen. Typische Werte liegen je nach Modell zwischen 10 und einigen hundert Epochen — bei sehr großen Modellen wie LLMs kommen auch mehrere Durchläufe über Wochen hinweg vor.
Verwandte Grundlagen: Training, Backpropagation, Gradient Descent.