Exploration vs. Exploitation (auch Explore-Exploit-Dilemma oder Entdecken-Nutzen-Konflikt) beschreibt eine grundlegende Entscheidungssituation: Soll ein Agent Neues ausprobieren, um Informationen zu sammeln (Exploration), oder das nutzen, was er bereits als gut kennt (Exploitation)? Das Dilemma taucht überall dort auf, wo Entscheidungen unter Unsicherheit getroffen werden — vom Reinforcement Learning über Werbeausspielung bis zur Restaurantwahl.
Das Dilemma verstehen
Wer nur exploitiert, wählt immer die aktuell beste bekannte Option. Das wirkt effizient, kann aber dazu führen, dass deutlich bessere Alternativen nie entdeckt werden — der Agent bleibt in einem lokalen Optimum stecken. Wer nur exploriert, sammelt zwar Wissen, verschenkt dabei aber Belohnung, die er mit dem bekannten Favoriten sicher hätte bekommen können.
Reinforcement-Learning-Agenten stehen in jeder Entscheidung vor diesem Konflikt: Soll der Spieler den Zug wählen, der statistisch am besten abschneidet, oder einen riskanten neuen Zug testen, der vielleicht noch besser ist? In der Theorie ist das Dilemma als Multi-Armed-Bandit-Problem mathematisch fassbar; dort misst man den Preis des Nichtwissens als Regret.
Strategien zur Balance
- Epsilon-Greedy: Mit kleiner Wahrscheinlichkeit zufällig explorieren, sonst greedy handeln — einfach und weit verbreitet.
- Upper Confidence Bound (UCB): Bevorzugt Aktionen mit hoher Unsicherheit, die vielversprechend sein könnten („Optimismus unter Unsicherheit").
- Thompson Sampling: Bayesianische Methode, die aus Wahrscheinlichkeitsverteilungen über den Aktionswert zieht.
- Softmax/Boltzmann: Wahrscheinlichkeitsgewichtete Auswahl nach geschätztem Nutzen.
Praxisbezug
Die Balance findet sich in A/B-Tests, Online-Werbung, Empfehlungssystemen und der klinischen Forschung ebenso wie im Training moderner KI-Agenten. Viele Verfahren starten mit viel Exploration und reduzieren sie im Laufe der Zeit — etwa durch Epsilon-Dekay.
Verwandte Grundlagen: Reinforcement Learning, Q-Learning, Temporal-Difference-Learning.