Definition - Rekurrenter Layer

• Typen:
  • LSTM Layer
• Konstrukte:
  • RNN
  • LSTM Layer
• Generalisierungen:
  • Layer
• Eigenschaften:
  • Probleme im Training rekurrenter Netzwerke
• Involvierte Definitionen:
  • Matrix-Konkatenation
  • Distributivgesetz der Matrix-Konkatenation
  • Aktivierungsfunktion
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 5.3.1)

⠀

Definition: Rekurrenter Layer

Als Rekurrenten Layer bezeichnen wir einen Layer-Typen neuronaler Netzwerke, der zusätzlich zur Eingabe einen internen hidden state hält.

Sei die aktuelle Eingabe.
Sei der Hidden State des letzten Schrittes.
Seien die Gewichtsmatrizen des Layers, seien die Bias-Terme.

In jedem Schritt erhalten wir zwei Ergebnisse:

• der neue Hidden State:
• der Output:

Für eine Sequenz erhalten wir als Berechnungsgraphen:

Anmerkung

Wie wird initialisiert?

Für die Initialisierung des ersten Hidden States gibt es drei häufige Ansätze:

1. Null-Initialisierung, also ,
2. Random-Initialisierung, bspw. auf Basis einer Normalverteilung,
3. Lernbar, wird also anhand von Backpropagation trainiert.

Kompakter Berechnungsgaph

Allgemein lässt sich der Berechnungsgraph eines rekurrenten Layers reduziert darstellen durch

Die Schleife steht für die Einbeziehung des Hidden States im Schritt .