Proposition: Wahrscheinlichkeit einer Episode

Sei ein MDP.
Sei eine Episode in .

Sind die Tupel stochastisch unabhängig, so erhalten wir die Wahrscheinlichkeit von durch: