Definition - Klassifikationsbaum

• Konstrukte:
  • Entscheidungswald
• Generalisierungen:
  • Entscheidungsbaum
  • Klassifikator
• Hinreichende Bedingungen:
  • Top-down Induction of Decision Trees (TDIDT)
  • ID3-Algorithmus
  • C4.5-Algorithmus
• Involvierte Definitionen:
  • Klassifikationsknoten
  • Entscheidungsknoten
  • Entscheidungsmerkmal (auch Attributfunktion)
  • Entscheidungsfunktion (auch Nachfolgerfunktion)
  • Kindknoten
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 2.6.1, Definition 1)

⠀

Definition: Entscheidungsbaum (Klassifikationsbaum)

Sei eine endliche Menge von Klassen.
Sei ein endlicher Merkmalsraum.

Als Entscheidungsbaum für und bezeichnen wir das Tripel mit:

• Klassifikations-Funktion: ,
• Attribut-Funktion:
• Nachfolgerfunktion (wobei die Kindknoten von seien.)

Ist , so erhalten wir die Klassifikation von bezüglich rekursiv durch

wobei

Dabei zerschneiden Entscheidungsbäume den Datensatz in mehrere Halbräume:

Definition: Klassifikationsfunktion eines Entscheidungsbaums

Sei eine endliche Menge von Klassen.
Sei ein endlicher Merkmalsraum.
Sei ein Entscheidungsbaum.

Ist , so erhalten wir die Klassifikation von bezüglich rekursiv durch

wobei

Anmerkung

Klassifikationsbaum mit scikit-learn

In Python erhalten wir einen Klassifikationsbaum durch:

X=((12,7),(10,8),(10,7.5),(15,5),(16,9),(18,8))
y= (5.5,6,7,6.5,7.5,10)
 
from sklearn.tree import DecisionTreeClassifier
clf = DecisionTreeClassifier().fit(X_train, y_train)
 
clf.predict([(5,10)])