Definition - Polynomiale Erweiterung

• Konstrukte:
  • Polynomiale Regression
• Involvierte Definitionen:
  • Gelabelter Datensatz
  • Overfitting
• Veranstaltung: EML
• Referenz: @thimm2024 (KE2, Lineare Regression - Nichtlineare Modelle)

⠀

Definition: Polynomiale Erweiterung

Sei ein gelabelter Datensatz mit .
Sei der Maximalgrad.

Als polynomiale Erweiterung mit Maximalgrad (auch Merkmalserweiterung) bezeichnen wir eine Erweiterung , wobei sich durch -fache multiplikative Kombination der Merkmalsausprägung von ergibt.

Seien beispielsweise die Dimensionen der gleich und der Maximalgrad gleich , dann gilt:

wobei die Konkatenation sei.

Anmerkung

Nachteile der polynomialen Erweiterung

Bei der polynomialen Erweiterung werden viele neue Features erstellt. Hierdurch erhöht sich einerseits die Trainingsdauer, andererseits neigt das trainierte Modell leichter zum Overfitting.

Polynomielle Erweiterung mit scikit-learn

In Python erhalten wir eine polynomielle Erweiterung zum Grad durch

X=[[/0.5,4.4],[1,4.0],[1.5,3.8],[1.6,3.7],[1.2,5.2],[0.7,4.3]]
y=[6.8, 8.1, 9.3, 11.1, 11.6, 13.6]
 
from sklearn.preprocessing import PolynomialFeatures
X_prime = PolynomialFeatures(degree=2, include_bias=False).fit_transform(X)

Als Ergebnis erhalten wir:

[[ 0.5 4.4 0.25 2.2 19.36]
[ 1. 4. 1. 4. 16. ] 
[ 1.5 3.8 2.25 5.7 14.44] 
[ 1.6 3.7 2.56 5.92 13.69] 
[ 1.2 5.2 1.44 6.24 27.04] 
[ 0.7 4.3 0.49 3.01 18.49]]