Definition - Iterative Berechnung des Zustandsnutzens bezüglich einer Strategie

• Eigenschaften:
  • Iterative Berechnung des Zustandsnutzens bezüglich einer Strategie konvergiert
• Involvierte Definitionen:
  • Zustandsnutzen bezüglich einer Strategie
  • Rekursive Charakterisierung des Zustandsnutzens bezüglich einer Strategie
  • Approximierter Zustandsnutzen bezüglich einer Strategie
  • siehe auch Iterative Berechnung des optimalen Zustandsnutzens
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 4.1.3)

⠀

Definition: Iterative Berechnung des Zustandsnutzens bezüglich einer Strategie

Sei ein Markov-Entscheidungsprozess.

Den Zustandsnutzen bezüglich einer Strategie können wir iterativ berechnen durch das Bellman-Update:

Anmerkung

Nutzung für den Approximierten Zustandsnutzen bezüglich einer Strategie

Für den approximierten Zustandsnutzen können wir diese Methode äquivalent anwenden.