Actor-Critic ist eine Familie von Reinforcement-Learning-Verfahren, die zwei Lernprozesse kombiniert: Der Actor (Schauspieler) lernt die Politik – also welche Aktion in welchem Zustand gewählt wird –, während der Critic (Kritiker) eine Wertfunktion schätzt, die bewertet, wie gut die aktuelle Politik ist. Der Critic liefert damit eine Rückmeldung, mit der der Actor seine Politik verbessert.
Warum die Kombination?
Reine Policy-Gradient-Verfahren wie REINFORCE warten bis zum Episodenende und schätzen die Rückmeldung dann über Monte-Carlo-Samples – das rauscht stark. Actor-Critic-Verfahren ersetzen diese Schätzung durch die laufend gelernte Wertfunktion des Critics und senken so die Varianz. Ein häufiges Signal ist die Advantage-Funktion A(s,a) = Q(s,a) − V(s): Sie sagt, ob eine Aktion besser oder schlechter als der Durchschnitt im Zustand s ist.
Bekannte Vertreter
- A2C / A3C (Advantage Actor-Critic): synchron beziehungsweise asynchron mit mehreren parallelen Umgebungen; A3C stammt von DeepMind (Mnih et al., 2016).
- PPO (Proximal Policy Optimization, OpenAI 2017) und SAC (Soft Actor-Critic): bauen direkt auf der Actor-Critic-Idee auf und gehören heute zu den Standardverfahren.
Der TD-Fehler des Critics verbindet beide Teile: Er dient zugleich als Lernsignal für die Wertfunktion und als Schätzung des Vorteils für den Actor. Actor-Critic gilt deshalb als Brücke zwischen wertbasiertem und politikbasiertem Lernen. Verwandte Grundlagen: Policy-Gradient-Methoden, Q-Learning, Deep-Q-Learning, SARSA, Markov-Entscheidungsprozess.