Definition: Erste Übergangswahrscheinlichkeit eines mehrstufigen stochastischen Vorgangs

Sei der abzählbare Grundraum des mehrstufigen stochastischen Vorgangs.

Als Übergangswahrscheinlichkeit von nach bezeichnen wir die Funktion:

falls für alle gilt:

ist ein Wahrscheinlichkeitsmaß auf .

Definition: Erste Übergangswahrscheinlichkeit eines mehrstufigen stochastischen Vorgangs

Sei die Übergangswahrscheinlichkeit von nach .

Als Übergangswahrscheinlichkeiten bezeichnen wir

Anmerkung

Normiertheit von

Der Beweis der Normiertheit folgt genauso wie bei der Startverteilung.

In der Praxis

In der Praxis geht man meistens umgekehrt vor. Das heißt: Man hat bereits Werte , und , die der Normierungsbedingung genügen.

Anhand dieser Werte wird dann wie folgt definiert: