Definition - Genauigkeitsmaß

• Generalisierungen:
  • Performanzfunktion
  • Arithmetisches Mittel
• Involvierte Definitionen:
  • Klassifikator
  • Gelabelter Datensatz
  • Beispiel (Datensatz)
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 2.2.2, Definition 3)

⠀

Definition: Genauigkeitsmaß

Sei ein gelabelter Datensatz.
Sei ein (binärer) Klassifikator.

Als Genauigkeitsmaß (auch Accuracy, kurz acc) von bezüglich bezeichnen wir:

Bei handelt es sich also einfach um das Verhältnis korrekt klassifizierter Beispiele zu allen Beispielen.

Anmerkung

Achtung bei ungleicher Klassenverteilung

Bei ungleicher Klassenverteilung hat das Genauigkeitsmaß den Nachteil, dass es eine falsche Einschätzung der Qualität des Klassifikators liefern kann.

Seien bspw. 99 von 100 Beispielen der Klasse gutartig und nur 1 Beispiel der Klasse bösartig zugeordnet.

In diesem Fall erreicht bereits der triviale Klassifikator , der Beispiele stets als gutartig klassifiziert, eine Genauigkeit von .

Genauigkeit in scikit-learn

In Python erhalten wir die Genauigkeit (accuracy) eines Modells durch:

model = ...
X_test = ...
y_test = ...
 
from sklearn.metrics import accuracy_score
 
score = accuracy_score(y_test, model.predict(X_test))