Definition - Aktivierungsfunktion

• Typen:
  • Identitäts-Aktivierungsfunktion
  • Threshold-Aktivierungsfunktion
  • Sigmoid-Aktivierungsfunktion
  • tanh-Aktivierungsfunktion
  • ReLU-Aktivierungsfunktion
  • Softplus-Aktivierungsfunktion
  • Softmax-Aktivierungsfunktion
• Konstrukte:
  • Neuron
• Involvierte Definitionen:
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 5.1.1)

⠀

Definition: Aktivierungsfunktion

Als Aktivierungsfunktion (oft auch als non-linearity) bezeichnen wir im Kontext des maschinellen Lernens eine mathematische Funktion, die innerhalb eines künstlichen Neurons genutzt wird, um den gewichteten Input () im letzten Schritt zu transformieren.

Aktivierungsfunktionen sind ein zentraler Bestandteil der Architektur neuronaler Netze. Die Wahl der Aktivierungsfunktion kann erheblichen Einfluss auf die Qualität und den Lernaufwand haben.

Dabei spielt die Ableitung der Aktivierungsfunktion eine wichtige Rolle: ist diese wohldefiniert und informativ, so wird der Lernprozess vereinfacht.

Anmerkung

Non-linearity?

Nicht-lineare Aktivierungsfunktionen werden oft auch einfach als non linearity bezeichnet.