Epsilon-Greedy: Einfach Exploration und Exploitation ausbalancieren

Epsilon-Greedy (ε-greedy) ist eine einfache und weit verbreitete Strategie zur Aktionsauswahl im Reinforcement Learning. Sie balanciert Exploration und Exploitation über eine kleine Zufallswahrscheinlichkeit: Mit Wahrscheinlichkeit ε wählt der Agent eine zufällige Aktion, mit Wahrscheinlichkeit 1 − ε die aktuell bewertete beste Aktion (greedy).

Wie funktioniert Epsilon-Greedy?

Der Agent schätzt für jede Aktion einen Wert, etwa den Q-Wert in Q-Learning. Bei jeder Entscheidung würfelt er: Fällt die Zahl unter ε, exploriert er — er probiert eine gleichverteilt zufällige Aktion aus. Andernfalls exploitiert er und wählt die Aktion mit dem höchsten geschätzten Wert (argmax). Typische Werte für ε liegen bei 0,1 oder 0,01.

if random() < epsilon:
    a = zufaellige_aktion()   # Exploration
else:
    a = argmax(Q[s])         # Exploitation

Epsilon-Dekay

In der Praxis startet man mit relativ hohem ε (zum Beispiel 1,0), damit der Agent anfangs viel erkundet, und reduziert es im Training kontinuierlich („Dekay"). Am Ende handelt der Agent fast rein greedy. Diese Abfolge entspricht dem typischen Lernverlauf: erst die Umgebung verstehen, dann das Gelernte ausnutzen.

Stärken und Grenzen

Stärke: extrem einfach zu implementieren, robust, überall einsetzbar — vom tabellenbasierten Q-Learning bis zu Deep-Q-Learning (Atari-Agenten von DeepMind nutzten ε-greedy).
Grenze: Die Exploration ist rein zufällig und ignoriert vielversprechende Alternativen. Verfahren wie Upper Confidence Bound oder Thompson Sampling explorieren gezielter, sind aber aufwendiger.