Definition - ID3-Algorithmus

• Typen:
  • C4.5-Algorithmus
• Konstrukte:
  • Klassifikationsbaum
• Generalisierungen:
  • TDIDT
  • SelectFeature
• Involvierte Definitionen:
  • TDIDT
  • Informationsgewinn
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 2.6.2)

⠀

Definition: ID3-Algorithmus

Als ID3-Algorithmus (kurz für Iterative Dichotomiser 3) bezeichnen wir eine Ausprägung des TDIDT-Algorithmus, wobei bei der Auswahlfunktion dasjenige Merkmal gewählt wird, das den Informationsgewinn maximiert, also:

Anmerkung

Optimierung des Informationsgewinns

Merke: da unabhängig von ist, folgt:

Probleme und Einschränkungen des ID3-Algorithmus

• ID3 tendiert bei leicht verrauschten Daten schnell zu Überanpassung.
• Der Informationsgewinn bevorzugt Merkmale mit einer hohen Anzahl an Ausprägungen.