Der Zustandsraum (englisch state space) ist im Reinforcement Learning die Menge aller möglichen Zustände, in denen sich der Agent und seine Umgebung befinden können. Ein Zustand s beschreibt die Situation zu einem Zeitpunkt — etwa die Position und Geschwindigkeit eines Wagens, die Stellung aller Figuren auf einem Schachbrett oder den aktuellen Sensorwert eines Roboters.
Vollständige und teilweise Beobachtbarkeit
In einem Markov-Entscheidungsprozess (MDP) gilt die Markov-Eigenschaft: Der aktuelle Zustand enthält alle Informationen, die für die Zukunft relevant sind — die Vergangenheit ist dann unnötig. Ist dieser ideale Zustand dem Agenten direkt zugänglich, spricht man von vollständiger Beobachtbarkeit. In vielen realen Anwendungen sieht der Agent aber nur eine Beobachtung, die den wahren Zustand unvollständig abbildet — etwa ein Auto, das nur die nächsten Meter per Kamera sieht. Dieses Szenario modelliert ein teilweise beobachtbarer MDP (POMDP), der zusätzlich Gedächtnis oder Zustandsschätzung erfordert.
Zustandsraumexplosion
Die Zahl der Zustände wächst kombinatorisch mit jeder Dimension — die sogenannte Fluch der Dimensionalität. Ein Schachbrett hat astronomisch viele Stellungen, ein Roboter mit mehreren Gelenken unendlich viele kontinuierliche Konfigurationen. Tabellenbasierte Verfahren wie Q-Learning speichern einen Wert je Zustand und scheitern daher an großen oder kontinuierlichen Zustandsräumen. Hier kommen Funktionsapproximatoren ins Spiel: Neuronale Netze wie bei Deep-Q-Learning oder Actor-Critic-Verfahren lernen eine kompakte Repräsentation, die sich auch auf ungesehene Zustände verallgemeinert.
Verwandte Grundlagen: Reinforcement Learning, Aktionsraum, Umgebung, Markov-Entscheidungsprozess, Wertfunktion, Neuronale Netze, Deep-Q-Learning.