Definition: Verteilung einer Markovkette als Wahrscheinlichkeitsvektor

Sei eine abzählbare Menge (hier auch Zustandsraum).
Sei ein Wahrscheinlichkeitsraum.
Sei eine Markovkette.

Mit bezeichnen wir den Wahrscheinlichkeitsvektor, der eindeutig durch die Verteilung von bestimmt ist, also: