Theorem - Äquivalenz von PCA und linearen Autoencodern

• Involvierte Definitionen:
  • PCA
  • Autoencoder
  • Lineare Aktivierungsfunktion
• Veranstaltung: EML
• Referenz:
  • @thimm2024 (Abschnitt 5.4.1)
  • @Plaut2018, From Principal Subspaces to Principal Components with Linear Autoencoders

⠀

Theorem: Äquivalenz von PCA und linearen Autoencodern

Sind alle Aktivierungsfunktionen eines Autoencoders linear, so gilt, dass der Autoencoder die gleiche Kompressionsstruktur erzeugt wie PCA.

Da PCA nach dem Eindeutigkeitssatz nicht eindeutig ist, können sich die Ergebnisse entsprechend unterscheiden.