Definition - Optimaler Zustandsnutzen

• Generalisierungen:
  • Zustandsnutzen bezüglich einer Strategie
• Eigenschaften:
  • Charakterisierung der optimalen Strategie durch den Zustandsnutzen
• Charakterisierungen:
  • Rekursive Charakterisierung des optimalen Zustandsnutzens
  • Charakterisierung des optimalen Zustandsnutzens durch Q-Funktion
• Hinreichende Bedingungen:
  • Bellmann-Update für
  • Value-Iteration Algorithmus
  • Charakterisierung des optimalen Zustandsnutzens durch Q-Funktion
• Involvierte Definitionen:
  • MDP
  • Optimale Strategie
  • Nutzen einer Strategie
  • Zustandsnutzen bezüglich einer Strategie
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 4.1.2)

⠀

Definition: Optimaler Zustandsnutzen

Sei ein Markov-Entscheidungsprozess.
Sei die optimale Strategie.

Als optimalen (diskontierten) Nutzen von definieren wir: