Lemma: Produkt stochastischer Matrizen ist eine stochastische Matrix

Seien .
Seien zwei stochastische Matrizen.

Dann gilt:

ist eine stochastische Matrix.