Definition - Neuron

• Typen:
  • Perzeptron
• Beispiele:
  • Lineare Regression für (Identische Abbildung)
  • Logistische Regression für (Sigmoid-Funktion)
• Konstrukte:
  • Layer
  • Neuronales Netz
• Generalisierungen:
  • Regressionsmodell
• Eigenschaften:
  • Äquivalenz von Neuron und linearer Regression
  • Äquivalenz von Neuron und logistischer Regression
  • Teilweise Äquivalenz von Neuron und SVM
  • Neuronales Netz mit Identitäts-Aktivierungsfunktionen ist nur so ausdrucksstark wie ein einzelnes Neuron mit Identitäts-Aktivierungsfunktion
• Involvierte Definitionen:
  • Aktivierungsfunktion
  • Transponierung
  • Skalarprodukt
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 5.1.1, Definition 1)

⠀

Definition: Neuron

Als künstliches Neuron bezeichnen wir das Tupel

wobei wir als Gewichte und als Aktivierungsfunktion bezeichnen.

Die durch das Neuron dargestellte Funktion erhalten wir durch:

wobei wir auch als linearen Anteil bezeichnen. Die Funktion wird mitunter auch als nichtlinearität bezeichnet.

Neuron durch Transponierung / Skalarprodukt

Mithilfe der sog. Bias-Eingabe können wir die Funktion auch etwas kompakter repräsentieren.

Hierzu setzen wir zunächst und erhalten: