Die Umgebung (englisch environment) ist im Reinforcement Learning alles außerhalb des Agenten: die Welt, mit der er interagiert und in der er lernt. Sie umfasst die Dynamik der Zustandsübergänge — also die Regel, mit welcher Wahrscheinlichkeit eine Aktion a im Zustand s in den Folgezustand s' führt — sowie die Erzeugung des Reward Signals nach jeder Aktion.
Die Agent-Umgebung-Schleife
Lernen entsteht in einer Schleife: Der Agent beobachtet den aktuellen Zustand, wählt gemäß seiner Policy eine Aktion aus seinem Aktionsraum, die Umgebung wechselt daraufhin in einen neuen Zustand und gibt eine Belohnung zurück. Genau diese Interaktion — nicht die Umgebung selbst — ist der Rohstoff jedes Reinforcement-Learning-Verfahrens. Eine Episode ist ein vollständiger Durchlauf dieser Schleife vom Start bis zum Endzustand.
Gymnasium als Standard-API
In der Praxis ist Gymnasium (die Weiterentwicklung von OpenAI Gym) der De-facto-Standard für Umgebungen: Die Schnittstelle bietet reset() zum Starten einer Episode und step(action) für einen einzelnen Interaktionsschritt, der Beobachtung, Belohnung und Endezustand zurückgibt. Jede Umgebung deklariert ihren Beobachtungs- und Aktionsraum, etwa Discrete oder Box. Bekannte Referenzumgebungen sind CartPole, Mountain Car, Pendulum, Atari-Spiele und MuJoCo-Roboteraufgaben.
Modellbasiert oder modellfrei
Je nachdem, wie stark der Agent die Umgebung ausnutzt, unterscheidet man zwei Lernstrategien. Modellbasierte Verfahren lernen oder nutzen ein explizites Modell der Übergangsdynamik und planen damit voraus. Modellfreie Verfahren wie Q-Learning, Temporal-Difference-Learning oder Policy-Gradient-Methoden verzichten auf ein solches Modell und lernen direkt aus gesammelten Erfahrungen — sie sind einfacher, benötigen aber mehr Interaktionen.
Verwandte Grundlagen: Reinforcement Learning, Aktionsraum, Zustandsraum, Episode, Reward Signal, Temporal-Difference-Learning, Maschinelles Lernen.