Definition - Autoencoder

• Typen:
  • Sparse Autoencoder (SAE)
  • Denoising Autoencoder (DAE)
  • Masked Autoencoder (MAE)
• Generalisierungen:
  • Neuronales Netzwerk / Tiefes Neuronales Netzwerk
• Eigenschaften:
  • Äquivalenz von PCA und linearen Autoencodern
• Involvierte Definitionen:
  • Latenter Raum
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 5.4)

⠀

Definition: Autoencoder

Als Autoencoder bezeichnen wir ein neuronales Netzwerk, das darauf trainiert ist, Eingabedaten auf eine komprimierte Darstellung zu reduzieren und diese anschließend wiederherzustellen.

Autoencoder bestehen aus

• einem Encoder , der die Eingabedaten aus in eine (in der Regel) niedrigdimensionale latente Repräsentation überführt und
• einem Decoder , der diese Repräsentation verwendet, um die ursprünglichen Daten so genau wie möglich zu rekonstruieren.

Sie versuchen also die Identitätsfunktion zu lernen, die Fehlerfunktion ergibt sich damit durch

Autoencoder können beispielsweise für Datenkompression, Feature-Extraktion oder Datengenerierung eingesetzt werden. Dabei werden die beiden Netze und oft getrennt voneinander genutzt.

Je nach Wahl von unterscheiden wir zwischen:

• Undercomplete Autoencodern () und
• Overcomplete Autoencodern ()