Proposition - Darstellung eines Conv-Layers als neuronales Netzwerk

• Involvierte Definitionen:
  • Conv-Layer
  • Neuronales Netzwerk
• Veranstaltung: EML
• Referenz:
  • @thimm2024 (Abschnitt 5.2.3)
  • @hope2017 (p. 51 ff.)

⠀

Proposition: Darstellung eines Conv-Layers als neuronales Netzwerk

Anders als in der Standarddefinition Neuronaler Netze sind die Outputs der Neuronen in Conv-Layern nicht mit allen - sondern nur mit sehr wenigen Neuronen der Folgeschicht verbunden.

Außerdem hat bei Conv-Layern nicht jedes Neuron sein “eigenes” Gewicht, stattdessen werden die Gewichte zwischen den Neuronen geteilt.

Angenommen, wir hätten den Filter , dann könnten wir einen Conv-Layer wie folgt visualisieren:

In der Darstellung von Conv-Layern werden die Eingabematrix und der Kernel in der Regel natürlich nicht aufgerollt. Die folgende Abbildung ist daher eventuell etwas mehr “hands-on”:

Wir sehen: Die Einträge von gehen durch Multiplikation mit einem der Gewichte aus in die Berechnung der Einträge des nachfolgenden Layers ein. Sie haben aber keinen Einfluss auf alle Einträge des nachfolgenden Layers, sondern auf Basis der Faltungsoperation nur auf einige wenige.