Definition - Ridge-Regression

• Generalisierungen:
  • Lineare Regression
• Involvierte Definitionen:
  • Tikhonov-Regularisierer
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 2.1.5 - Regularisierung)

⠀

Definition: Ridge-Regression

Sei ein gelabelter Datensatz mit .
Sei die Tikhonov-regularisierte Kostenfunktion.

Als Ridge-Regression definieren wir das lineare Modell

wenn für die Wahl der Parameter die Tikhonov-regularisierte Kostenfunktion genutzt wird, also wenn

Anmerkung

Ridge Regression mit scikit-learn

In Python erhalten wir ein Ridge-Regression-Modell mit durch

X=((12,7),(10,8),(10,7.5),(15,5),(16,9),(18,8))
y= (5.5,6,7,6.5,7.5,10)
 
from sklearn.linear_model import Ridge
reg = Ridge(alpha=0.1).fit(X,y)
 
reg.predict([(5,10)])

Die Gewichte erhalten wir wie folgt:

• reg.intercept_
• reg.coef_[0]
• reg.coef_[1]