SAC (Soft Actor-Critic) ist ein Off-Policy-Actor-Critic-Verfahren für kontinuierliche Aktionsräume, das auf dem Maximum-Entropy-Reinforcement-Learning aufbaut. Es wurde 2018 von Tuomas Haarnoja und Kollegen an der UC Berkeley vorgestellt („Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor", ICML 2018, arXiv:1801.01290; erweitert 2019 in „Soft Actor-Critic Algorithms and Applications").
Kernidee: Belohnung plus Entropie
Anders als klassische Verfahren maximiert SAC nicht nur die erwartete Belohnung, sondern zusätzlich die Entropie der Policy — also ihre Zufälligkeit. Das belohnt den Agenten dafür, mehrere gute Aktionen zu kennen statt nur eine. Ergebnis: eine stochastische Policy, die natürlicher exploriert und gegenüber Störungen robuster ist.
- Stochastischer Actor: Die Policy gibt eine Wahrscheinlichkeitsverteilung über Aktionen aus (typisch eine Gauß-Verteilung), nicht eine einzelne Aktion wie DDPG.
- Automatische Temperatur: Der Entropie-Koeffizient (Temperatur) wird während des Trainings selbst angepasst — er sinkt, sobald die Aufgabe beherrscht wird.
- Zwei Q-Netze plus Replay Buffer: Wie TD3 nutzt SAC das Minimum zweier Q-Schätzer, bleibt aber bei einem weichen Bellman-Update mit Entropie-Term.
SAC gilt als einer der sample-effizientesten und robustesten Standard-Algorithmen für kontinuierliche Steuerung (Roboter, kontinuierliche Aktionsräume, MuJoCo) und schlägt in vielen Benchmarks deterministische Verfahren wie DDPG und TD3.
Einordnung
SAC gehört zur Familie des Reinforcement Learning und ist ein Actor-Critic-Vertreter. Die Maximum-Entropy-Idee verbindet Exploration direkt mit dem Lernziel (siehe Exploration vs. Exploitation); On-Policy-Alternativen sind PPO und Policy-Gradient-Verfahren.
Verwandte Grundlagen: DDPG, TD3, Reinforcement Learning.