Q-Learning ist ein wertbasierter Reinforcement-Learning-Algorithmus, der 1989 von Chris Watkins entwickelt wurde. Er lernt eine Tabelle von Aktionswerten Q(s, a) — den erwarteten Gesamtertrag, wenn der Agent im Zustand s die Aktion a wählt und danach optimal handelt.
Wie funktioniert die Q-Tabelle?
Die Q-Tabelle hat eine Zeile pro Zustand und eine Spalte pro Aktion. Nach jeder Aktion wird der Eintrag aktualisiert:
Q(s,a) <- Q(s,a) + alpha * (r + gamma * max_a' Q(s',a') - Q(s,a))Dabei ist alpha die Lernrate, gamma der Abzinsungsfaktor für zukünftige Belohnungen und r die unmittelbare Belohnung. Der Term max_a' Q(s',a') blickt optimistisch auf den besten Folgezustand — genau das macht Q-Learning zu einem off-policy-Verfahren: Es lernt die optimale Policy, auch wenn der Agent zwischendurch explorativ handelt (zum Beispiel per Epsilon-Greedy).
Vom Tabellen-Algorithmus zur Deep-Q-Network-Revolution
Klassisches Q-Learning scheitert an großen Zustandsräumen, weil die Tabelle explodiert. DeepMind löste das 2015 mit dem Deep Q-Network (DQN) in Nature: Ein neuronales Netz ersetzt die Q-Tabelle, Experience Replay und ein Target-Network stabilisieren das Training. DQN erreichte auf 49 Atari-Spielen menschliches Niveau — der Durchbruch des modernen Deep Reinforcement Learning.
Verwandte Grundlagen: Reinforcement Learning (Überblick), Temporal-Difference-Learning (Lernmechanik), Policy-Gradient-Methoden (Alternative), Neuronale Netze, Deep Learning.