Definition - Token

• Konstrukte:
  • Term (Tokenization)
• Involvierte Definitionen:
  • Tokenization
• Veranstaltung: IR
• Referenz: @wagenpfeil2024 (KE2, p. 5 f.)

⠀

Definition: Token

Als Token bezeichnen wir eine Menge an Zeichen, die sinnvoll zu einer semantischen Einheit zusammengefasst sind. Im einfachsten Fall entspricht ein Token einem Wort, im allgemeinen kann der Begriff aber auch Zeichenketten wie bspw. 127.0.0.0 oder C++ umfassen.