Lemma: Produkt stochastischer Matrix und Wahrscheinlichkeitsvektor ist ein Wahrscheinlichkeitsvektor

Seien .
Sei eine stochastische Matrix.
Sei ein Wahrscheinlichkeitsvektor.

Dann gilt:

ist ein Wahrscheinlichkeitsvektor.