Definition - Markovkette

• Typen:
  • Einfache Irrfahrt
  • Einfache symmetrische Irrfahrt
  • (Zeit)homogene Markovkette
  • Markov-Entscheidungsprozess
• Beispiele:
  • Bei 1 reflektierte Irrfahrt
• Konstrukte:
  • Startverteilung der Markovkette
  • Verteilung einer Markovkette als Wahrscheinlichkeitsvektor
  • k-te Rückkehr zum Startpunkt einer Markovkette
• Generalisierungen:
  • Stochastischer Prozess
• Eigenschaften:
  • Markoveigenschaft
• Involvierte Definitionen:
  • Abzählbare Menge
  • Stochastischer Prozess
  • Markoveigenschaft
• Veranstaltung: MatheDS
• Referenz: @riedel2023 (Definition 7.3.1)

⠀

Definition: Markovkette

Sei eine abzählbare Menge (hier auch Zustandsraum).
Sei ein Wahrscheinlichkeitsraum.
Sei ein stochastischer Prozess mit .

Wir bezeichnen als Markovkette, wenn die Markoveigenschaft erfüllt, also: