Die Wertfunktion (englisch value function) ist im Reinforcement Learning und in der dynamischen Programmierung eine Funktion, die jedem Zustand (oder jedem Zustands-Aktions-Paar) den erwarteten diskontierten Gesamtertrag zuordnet, den ein Agent ab diesem Punkt unter einer gegebenen Policy erzielen kann. Sie ist das zentrale Bewertungswerkzeug, um Policies zu vergleichen und zu verbessern.
State-Value und Action-Value
Die zustandsbezogene Wertfunktion Vπ(s) gibt den erwarteten Return an, wenn der Agent im Zustand s startet und danach der Policy π folgt. Die aktionsbezogene Wertfunktion Qπ(s,a) gibt den erwarteten Return an, wenn er im Zustand s zuerst die Aktion a ausführt und anschließend π folgt. Q-Werte sind besonders nützlich, weil sich daraus direkt eine Verbesserung ableiten lässt: Wähle in jedem Zustand die Aktion mit dem größten Q-Wert. Auf dieser Idee basiert Q-Learning.
Rekursive Zerlegung
Wertfunktionen erfüllen die Bellman-Gleichung: Der Wert eines Zustands ist die unmittelbare Belohnung plus der diskontierte erwartete Wert des Folgezustands. Diese rekursive Beziehung erlaubt es, Werte iterativ zu berechnen, ohne ganze Episoden abzuwarten. Temporal-Difference-Learning schätzt die Wertfunktion aus einzelnen Erfahrungsschritten, Monte-Carlo-Verfahren aus abgeschlossenen Episoden.
Rolle im Lernprozess
Jeder Lernalgorithmus im Reinforcement Learning schätzt auf die eine oder andere Weise eine Wertfunktion: Policy-Gradient-Methoden nutzen sie als Baseline zur Varianzreduktion (Actor-Critic), wertbasierte Verfahren wie Q-Learning verbessern über sie die Policy. In großen Zustandsräumen wird die Wertfunktion nicht als Tabelle, sondern als Funktionsapproximator wie ein neuronales Netz dargestellt (Deep Reinforcement Learning).
Verwandte Grundlagen: Markov-Entscheidungsprozess, Bellman-Gleichung, Reinforcement Learning.