Definition - Tikhonov-Regularisierer

• Konstrukte:
  • Ridge-Regression
  • Sparse Autoencoder (SAE)
• Generalisierungen:
  • L2-Norm
  • Regularisierer
  • Regularisierte Kostenfunktion
• Involvierte Definitionen:
  • Lineares Modell
  • Quadratischer Fehler des Linearen Modells
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 2.1.5 - Regularisierung)

⠀

Definition: Tikhonov-Regularisierer

Sei ein gelabelter Datensatz.
Sei ein lineares Modell.

Als Tikhonov-Regularisierer (auch L2-Regularisierer) bezeichnen wir:

Definition: Tikhonov-regularisierte Kostenfunktion

Sei ein lineares Modell.
Sei der Tikhonov-Regularisierer.

Sei ein gelabelter Datensatz mit den vom Linearen Modell bekannten Matrixdarstellungen und

Als Tikhonov-regularisierte Kostenfunktion bezeichnen wir:

mit .

Anmerkung

Fängt das wirklich erst bei an?

Ja, das ist kein Fehler, der Achsenabschnitt wird nicht in den Tikhonov-Regularisierer mitaufgenommen.