Theorem - PCA durch Singulärwertzerlegung

• Involvierte Definitionen:
  • Hauptkomponentenanalyse
  • Singulärwertzerlegung
  • Singulärwertzerlegung berechnen
  • Standardisierter Datensatz
  • Empirische Kovarianzmatrix
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 3.5.3, Theorem 1)

⠀

Theorem: PCA durch Singulärwertzerlegung

Sei mit ein standardisierter Datensatz.
Sei mit die Zieldimension.

Nach dem Theorem PCA durch Singulärwertzerlegung gilt:

Ist die Singulärwertzerlegung von , so entsprechen die Spalten der Matrix , also

genau der Orthonormalbasis des durch die PCA ermittelten Unterraums.

Das Ergebnis der PCA (also die Orthonormalbasis des Unterraums) entspricht damit den normierten Eigenvektoren (also ) der Kovarianzmatrix .

Für eine PCA mit werden nun die ersten Spalten aus gewählt werden.

Beweis

Per definitionem enthält enthält die normierten Eigenvektoren von .

Da standardisiert und daher ist, entspricht in diesem Fall der Kovarianzmatrix .