Definition - Bedingte Entropie

• Konstrukte:
  • Informationsgewinn
• Generalisierungen:
  • Entropie
• Involvierte Definitionen:
  • Entropie
  • Bedingte Wahrscheinlichkeit
  • Gelabelter Datensatz
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 2.6.2, Definition 3)

⠀

Definition: Bedingte Entropie

Sei mit endlich.
Sei , wobei die verschiedene endliche Merkmalsräume mit .
Sei ein gelabelter Datensatz mit .
Sei ein Merkmal.

Als bedingte Entropie definieren wir:

Mit anderen Worten: eine anteilig gewichtete Summe der Entropien der Merkmalesausprägungen.

Anmerkung

Entropie bei Entscheidungsbäumen

Bei Entscheidungsbäumen bedeutet

• niedrige Entropie bzgl. , dass das Merkmal die Klassen gut trennt
  • pro Ausprägung des Merkmals dominiert stets eine eine der Klassen stark
• hohe Entropie bzgl. , dass das Merkmal die Klassen schlecht trennt
  • pro Ausprägung des Merkmals treten viele verschiedene Klassen gemischt auf, es gibt keine klare Trennungen