Definition - Berechnung des Outputs eines Layers

• Konstrukte:
  • Berechnung der Funktion eines Neuronalen Netzwerkes
• Involvierte Definitionen:
  • Feedforward-Netzwerk
  • Aktivierungsfunktion
  • Layer
  • siehe auch Berechnung der Funktion eines Neuronalen Netzes
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 5.1.2)

⠀

Definition: Berechnung des Outputs eines Layers

Sei ein Feedforward Netzwerk mit Schichten und jeweils Neuronen pro Schicht gegeben.
Jede Schicht sei zudem durch eine Gewichtsmatrix parametrisiert.

Die Output-Werte der -ten Schicht erhalten wir durch:

wobei hier komponentenweise auf den Vektor angewendet wird.

Alternative Schreibweisen

@grant2024 nutzt die Schreibweise

Anmerkung

Interpretation

Auf den ersten Blick verwirrt es, dass das -te Neuron durch die -te Gewichtsmatrix berechnet wird. Das folgt aber direkt aus der Schreibweise des Netzwerkes:

Hier zum Vergleich auch noch mal die Illustration eines einzelnen Neurons: