Definition - Markov-Entscheidungsprozess

• Konstrukte:
  • Zustandsübergangsdiagramm
  • Strategie eines Agenten
  • Episode eines MDP
  • Beobachtung
  • Probelauf bezüglich einer Strategie
  • Exploration-Exploitation-Dilemma
  • Q-Funktion
  • Nutzen einer Strategie
  • Nutzen einer Episode
  • Zustandsnutzen bezüglich einer Strategie
• Generalisierungen:
  • Markovkette
• Involvierte Definitionen:
  • Agent
  • : Zustandsraum eines MDP
    • : Startzustand eines MDP
    • : Zielzustände
  • : Aktionsraum eines MDP
  • : Transitionswahrscheinlichkeitsfunktion
  • : Belohnungsfunktion
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 4.1.1)

⠀

Definition: Markov-Entscheidungsprozess

Als Markov-Entscheidungsprozess (en. Markov Decision Process, kurz MDP) bezeichnen wir die Markovkette:

wobei:

• : Zustandsraum
• : Aktionsraum
• : Transitionswahrscheinlichkeitsfunktion
• : Belohnungsfunktion (en. reward function)
• : Startzustand
• : Menge der Zielzustände

formalisiert die Handlungen eines Agenten in einer Umgebung. Dabei startet in dem Zustand und terminiert, sobald der Agent einen Zustand aus erreicht.