Definition - Testkollektion (Information Retrieval)

• Generalisierungen:
  • Test-Split
• Involvierte Definitionen:
  • Systemorientierte Evaluation
  • Query (Information Retrieval)
  • Relevanz (Information Retrieval)
  • Dokument
• Veranstaltung: IR
• Referenz: @wagenpfeil2024 (KE4, p. 7 f.)

⠀

Definition: Testkollektion (Information Retrieval)

Als Testkollektion bezeichnen wir im Information Retrieval die Menge an Dokumenten, Inhalten, Queries und vordefinierten Relevanzurteilen, die zur systemorientierten Evaluation eines IRS genutzt werden.

Konkret:

• Feste Topics bilden eine vordefinierte Menge an Menge möglicher thematischer Informationsbedürfnisse.
• Feste Queries übersetzen die Topics in konkrete Abfragen.
• Feste Dokumente (Korpus) bilden die zugrunde liegende Dokumentenbasis
• Feste Relevanzurteile legen fest, wie Relevant die einzelnen Dokumente hinsichtlich der verschiedenen Queries sind.