Der Aktionsraum (englisch action space) ist im Reinforcement Learning die Menge aller Aktionen, die ein Agent in einem Zustand ausführen kann. Er gehört neben Zustandsraum, Umgebung und Reward Signal zu den Grundbausteinen eines Lernproblems: Der Agent beobachtet einen Zustand, wählt eine Aktion aus seinem Aktionsraum und erhält dafür eine Belohnung.
Diskrete und kontinuierliche Aktionsräume
- Diskreter Aktionsraum: Eine endliche, abzählbare Auswahl — etwa links/rechts/hoch/runter in einem Gitterspiel oder die Tasten eines Gamepads. In der Gymnasium-API (früher OpenAI Gym) wird er als
Discrete(n)modelliert, mit n wählbaren Aktionen. - Kontinuierlicher Aktionsraum: Aktionen sind Vektoren reeller Zahlen — etwa Drehmomente für Roboter-Gelenke, Lenkwinkel oder Schubwerte. Gymnasium modelliert ihn als
Boxmit minimalen und maximalen Grenzen je Dimension.
Welcher Algorithmus passt zu welchem Raum?
Die Wahl des Aktionsraums bestimmt, welche Lernverfahren überhaupt funktionieren. Tabellenbasierte Verfahren wie Q-Learning benötigen endliche, diskrete Aktionen, weil sie für jede Zustand-Aktions-Kombination einen Wert speichern. Bei kontinuierlichen Aktionsräumen sind Policy-Gradient-Verfahren oder Actor-Critic-Methoden wie DDPG, TD3 und SAC die erste Wahl: Sie parametrisieren die Policy direkt, häufig als neuronales Netz, das aus dem Zustand eine Aktion oder eine Verteilung über Aktionen erzeugt.
Exploration im Aktionsraum
Auch die Erkundung hängt vom Aktionsraum ab. Bei diskreten Aktionen wählt Epsilon-Greedy mit kleiner Wahrscheinlichkeit eine zufällige Aktion. Bei kontinuierlichen Aktionen wird stattdessen typischerweise Rauschen auf die gewählte Aktion addiert (etwa Gaußsches Rauschen oder Ornstein-Uhlenbeck-Rauschen bei DDPG). Mit jeder zusätzlichen Dimension wächst der Raum exponentiell — ein Grund, warum geschicktes Exploration-Exploitation-Management so wichtig ist.
Verwandte Grundlagen: Reinforcement Learning, Zustandsraum, Umgebung, Policy, Q-Learning, Policy-Gradient-Methoden, Exploration vs. Exploitation.