Definition - Approximierter Zustandsnutzen bezüglich einer Strategie

• Konstrukte:
  • Epsilon-Greedy ADP
• Generalisierungen:
  • Zustandsnutzen bezüglich einer Strategie
  • Adaptive dynamische Programmierung
• Hinreichende Bedingungen:
  • Iterative Berechnung des Zustandsnutzens bezüglich einer Strategie
• Involvierte Definitionen:
  • Approximierte Transitionswahrscheinlichkeitsfunktion
  • Approximierte Belohnungsfunktion
  • Zustandsnutzen bezüglich einer Strategie
  • siehe auch Beobachteter Zustandsnutzen bezüglich einer Strategie
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 4.2.2, Definition 4)

⠀

Definition: Approximierter Zustandsnutzen bezüglich einer Strategie

Sei ein (zunächst unbekannter) Markov-Entscheidungsprozess.
Sei eine Menge von Probeläufen bezüglich einer Strategie .

Dann können wir approximieren durch:

Für ausreichend viele Probeläufe konvergiert gegen