Policy-Gradient-Methoden sind eine Klasse von Reinforcement-Learning-Verfahren, die statt einer Wertetabelle direkt die Strategie (Policy) optimieren. Der Agent parametrisiert seine Entscheidungsregel pi(theta)(a|s) — zum Beispiel durch ein neuronales Netz — und passt die Parameter per Gradientenaufstieg so an, dass der erwartete Gesamtertrag steigt.
REINFORCE: Der Urtyp
Den Grundbaustein lieferte Ronald Williams 1992 mit REINFORCE („Simple Statistical Gradient-Following Algorithms"). Die Idee: Episoden sammeln, den erzielten Ertrag messen und die Aktionen mit hohem Ertrag wahrscheinlicher machen. Formal steigt man entlang des Gradienten des erwarteten Returns:
nabla_theta J(theta) = E[ G * nabla_theta log pi_theta(a|s) ]REINFORCE ist einfach, hat aber hohe Varianz — viele Episoden rauschen stark.
Warum direkt die Policy?
Wertbasierte Verfahren wie Q-Learning brauchen eine Max-Operation über Aktionen und scheitern bei kontinuierlichen oder riesigen Aktionsräumen. Policy-Gradienten können stochastische Policies lernen (bewusst zufällig handeln, etwa im Pokerspiel) und kommen mit kontinuierlichen Steuergrößen klar — ideal für Robotik und Spiele.
Moderne Verfahren kombinieren beides: Actor-Critic-Methoden wie A2C/A3C nutzen einen Kritiker (Wertfunktion) als Baseline, um die Varianz zu senken; PPO (Proximal Policy Optimization, OpenAI 2017) beschränkt die Updateschritte und ist heute der Standard für Large-Scale-RL.
Verwandte Grundlagen: Reinforcement Learning, Q-Learning, Temporal-Difference-Learning, Neuronale Netze, Training.