Definition - Identitäts-Aktivierungsfunktion

• Generalisierungen:
  • Aktivierungsfunktion
  • Identische Abbildung
• Eigenschaften:
  • Neuronales Netz mit Identitäts-Aktivierungsfunktionen ist nur so ausdrucksstark wie ein einzelnes Neuron mit Identitäts-Aktivierungsfunktion
  • Äquivalenz von PCA und linearen Autoencodern
• Involvierte Definitionen:
  • Universelles Approximations Theorem
  • Versteckte Schicht
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 5.1.1)

⠀

Definition: Identitäts-Aktivierungsfunktion

Als Identitäts-Aktivierungsfunktion bezeichnen wir eine Funktion, die die Eingabe unverändert als Ausgabe zurückgibt. Sie ist definiert durch:

Diese Funktion wird häufig in der Ausgangsschicht von Regressionsmodellen verwendet, wo es wichtig ist, dass die Ausgabe direkt der Eingabe entspricht.

Sie hat den Vorteil, dass sie einfach ist und keine Nichtlinearität einführt.

Daher ist sie aber auch nicht hinreichend für das Universelle Approximations Theorem und wird entsprechend selten als Aktivierungsfunktion innerhalb der versteckten Schichten genutzt.

Die folgende Illustration zeigt den Graphen der Identitäts-Aktivierungsfunktion: