Proposition - Unterscheidung von PCA und linearer Regression

• Involvierte Definitionen:
  • Lineare Regression
  • PCA
  • Projektionsvektor / Orthogonale Entfernung
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 3.5.2)

⠀

Proposition: Unterscheidung von PCA und linearer Regression

Mal abgesehen davon, dass bei der PCA ein beliebig kleiner Unterraum angenähert werden kann, unterscheiden sich PCA und lineare Regression durch ihre Zielfunktion. Im zweidimensionalen:

• Lineare Regression versucht, die Zielvariable zu approximieren, wir suchen also ein , so dass .
• PCA versucht, die Distanz von zu seiner Projektion in dem Unterraum , also , zu minimieren.

In der folgenden Abbildung sind die Zielfunktion der linearen Regression blau und die Zielfunktion der PCA rot eingezeichnet: