Deep-Q-Learning (auch Deep Q-Network, DQN) verbindet Q-Learning mit Deep Learning: Statt einer Tabelle wird die Aktionsbewertung Q(s,a) von einem neuronalen Netz angenähert. Damit lassen sich Zustandsräume verarbeiten, die so groß sind, dass ein tabellarisches Verfahren unmöglich wäre – etwa rohe Pixel eines Bildschirms.
Die zwei Stabilitäts-Tricks
Naives Q-Learning mit neuronalen Netzen ist instabil, weil aufeinanderfolgende Lernbeispiele stark korreliert sind und das Lernziel sich mit jedem Update verschiebt. Die DeepMind-Forscher um Volodymyr Mnih führten deshalb zwei Mechanismen ein (Nature-Paper 2015, „Human-level control through deep reinforcement learning“):
- Experience Replay: Erlebte Übergänge (s, a, r, s′) werden in einem Puffer gespeichert und in zufälligen Stichproben trainiert. Das entkoppelt die Lernbeispiele und bricht die Korrelation.
- Target Network: Eine zweite, zeitweise eingefrorene Netzwerk-Kopie liefert die Zielwerte. Sie wird nur alle paar Schritte an das aktuelle Netz angeglichen, wodurch das Lernziel stabil bleibt.
Erfolg auf Atari
DQN lernte 2015 allein aus den Bildschirmpixeln, einen Großteil der 49 klassischen Atari-2600-Spiele auf oder über menschlichem Niveau zu spielen – ein Meilenstein, der das moderne Deep Reinforcement Learning begründete. Nachfolger wie Double DQN, Dueling DQN oder Prioritized Replay verfeinerten den Ansatz.
Deep-Q-Learning ist off-policy wie sein tabellarisches Vorbild und grenzt sich damit von SARSA ab; für kontinuierliche Aktionsräume greifen moderne Verfahren dagegen meist zu Actor-Critic-Architekturen. Verwandte Grundlagen: Q-Learning, Temporal-Difference-Learning, neuronale Netze, Backpropagation, Reinforcement Learning.