Definition - Rekurrentes Neuronales Netzwerk

• Typen:
  • RNN Layer
  • LSTM Layer
  • Many-to-many RNN
  • Bidirektionales RNN
• Konstrukte:
  • Backpropagation Through Time
• Generalisierungen:
  • Tiefes Neuronales Netzwerk
• Eigenschaften:
  • Probleme im Training rekurrenter Netzwerke
• Involvierte Definitionen:
  • Rekurrenter Layer
  • siehe auch Feedforward-Netzwerk
• Veranstaltung: EML
• Referenz:
  • @thimm2024 (Abschnitt 5.3.1)
  • Stanford CS230

⠀

Definition: Rekurrentes Neuronales Netzwerk

Als Rekurrentes Neuronales Netzwerk (kurz RNN) bezeichnen wir eine Klasse von neuronalen Netzen, die speziell für die Verarbeitung und Modellierung sequenzieller Daten entwickelt wurde.

Dafür halten die Layer in RNNs (unabhängig voneinander) sog. hidden states, in denen sie Informationen über vorherige Eingaben aggregieren können.

Eine zentrales Eigenschaft ist das Teilen von Parametern zwischen den Eingaben einer Sequenz: jeder Punkt der Sequenz wird mit denselben Parameter berechnet, lediglich der hidden state ändert sich.