Definition - Term (Tokenization)

• Konstrukte:
  • Termkookkurrenz
  • TF-IDF-Maß
• Generalisierungen:
  • Token
• Eigenschaften:
  • Assoziationshypothese
• Hinreichende Bedingungen:
  • Stemming
  • Lemmatisierung
• Involvierte Definitionen:
  • Tokenization
• Veranstaltung: IR
• Referenz: @wagenpfeil2024 (KE2, p. 6)

⠀

Definition: Term (Tokenization)

Als Term bezeichnen wir gewissermaßen normalisierte Tokens. Eine Strategie zur Normalisierung könnte bspw. das “kleinschreiben” des Wortes oder die Reduktion eines Wortes auf den Singular sein.

Bspw.

• Romans → roman
• Friends → friend