Theorem - Bellmann-Update

• Konstrukte:
  • Value-Iteration Algorithmus
• Generalisierungen:
  • Iterative Berechnung des Zustandsnutzens bezüglich einer Strategie
  • Optimaler Zustandsnutzen
  • Rekursive Charakterisierung des optimalen Zustandsnutzens
• Eigenschaften:
  • Bellmann-Update konvergiert gegen optimalen Zustandsnutzen
• Involvierte Definitionen:
  • MDP
  • Rekursive Charakterisierung des optimalen Zustandsnutzens
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 4.1.2)

⠀

Theorem: Bellmann-Update

Sei ein Markov-Entscheidungsprozess.

Als Bellmann-Update definieren wir die iterative Berechnung des optimalen Zustandsnutzens: