Definition - Klassifikator

• Typen:
  • Ensemble-Lernen
• Beispiele:
  • Support Vector Machine
  • Soft-Margin SVM
  • KNN
  • Bayes-Klassifikator
  • Naiver Bayes-Klassifikator
  • Klassifikationsbaum
• Konstrukte:
  • Klassifikationsmodell
  • Logistische Regression
  • Support Vector Machine
• Involvierte Definitionen:
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 2.2.1, Klassifikation und Logistische Regression)

⠀

Definition: Entscheidungsfunktion

Sei eine beliebige Funktion.

Als Klassifikator bezeichnen wir die Funktion

Hier am Beispiel der fiktiven Rapidäpfel, die besonders schnell verderben. Das optimal angepasste logistische Modell in rot, in magenta.

Und im zweidimensionalen:

Definition: Mehrklassenklassifikator

Seien binäre Klassifikationsmodelle für die Klassen .

Als one-versus-rest Mehrklassenklassifikator (kurz ovr) bezeichnen wir die Funktion mit:

Der Mehrklassenklassifikator weist einem Datenpunkt also diejenige Klasse zu, deren Klassifikator den höchsten Wert ausgibt.

Am Beispiel der logistischen Regression:

Woraus sich der folgende Mehrklassenklassifikator ergibt:

Anmerkung

Andere Grenzen

Bei manchen Modellen (bspw. SVMs) werden und als Klassen genutzt.

Hier wählen wir als Klassifikator entsprechend, also bspw.

OVR mit scikit-learn

In Python erhalten wir einen one-versus-rest Klassifikator durch

X_mult = [[/1, 80], [20, 3], [5, 0], [13, 12], [60, 30], [10, 40]]
y_mult = [2, 2, 1, 1, 3, 3]
 
from sklearn.multiclass import OneVsRestClassifier
ovr_classifier = OneVsRestClassifier(LogisticRegression()).fit(X_mult,y_mult)
 
ovr_classifier.predict([(5,10)])

Die jeweiligen logistischen Modelle erhalten wir durch

reg_1, reg_2, reg_3 = ovr_classifier.estimators_