Definition: Zustandsübergangsdiagramm

Als Zustandsübergangsdiagramm bezeichnen wir eine Darstellung von Markov-Entscheidungsprozessen durch einen gerichteten Graphen.

Dabei werden die Zustände als Knoten und die Aktionen als Kanten aufgefasst, die zu einem Folgezustand führen.

Jede Kante ist mit dem Aktionsnamen, der Erfolgswahrscheinlichkeit und der Belohnung ausgezeichnet.