Definition - Nächste-Nachbarn-Regression

• Generalisierungen:
  • (Modellfreies) Regressionsmodell
  • Modellfreies Lernverfahren
• Involvierte Definitionen:
  • Nachbarfunktion
  • Regressionsmodell
  • siehe auch KNN-Klassifikation
  • siehe auch K-Means-Clustering
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 2.4.2)

⠀

Definition: Nächste-Nachbarn-Regression

Sei .
Sei ein gelabelter Datensatz mit und .

Als KNN-Regressor definieren wir:

Der KNN-Regressor berechnet also das arithmetische Mittel der nächsten Nachbarn des Datenpunktes .

Anmerkung

Nachteile des KNN-Regressors

• KNN ist sensibel gegenüber verschieden skalierten Merkmalen und profitiert stark von der z-Transformation.
• Bei großen Datensätzen können sowohl die Laufzeit als auch die Speicherkomplexität des Algorithmus groß sein, da der gesamte gegebene Datensatz
  • im Speicher gehalten
  • und durchsucht werden muss.

KNN-Regressor mit scikit-learn

In Python erhalten wir einen KNN-Klassifikator mit durch:

X=((12,7),(10,8),(10,7.5),(15,5),(16,9),(18,8))
y= (5.5,6,7,6.5,7.5,10)
 
from sklearn.neighbors import KNeighborsRegressor
knn = KNeighborsRegressor(n_neighbors=3).fit(X, y)
 
knn.predict([(5,10)])