Lemma: Fast sichere Rückkehr einer zeithomogenen Markovkette zum Startwert

Sei eine abzählbare Menge (hier auch Zustandsraum).
Sei ein Wahrscheinlichkeitsraum.
Sei eine zeithomogene Markovkette.

Dann gilt:

kehrt fast sicher wieder zu seinem Startwert zurück