Definition - Informationsgewinn

• Konstrukte:
  • Entscheidungsbaum / ID3-Algorithmus
• Involvierte Definitionen:
  • Entropie
  • Bedingte Entropie
• Veranstaltung: EML
• Referenz: @thimm2024 (Abschnitt 2.6.2, Definition 4)

⠀

Definition: Informationsgewinn

Sei mit endlich.
Sei , wobei die verschiedene endliche Merkmalsräume mit seien.
Sei ein gelabelter Datensatz mit .
Sei ein Merkmal.

Als Informationsgewinn (en. information gain) von bezüglich definieren wir: