Definition - Pooling zur Erstellung von Datensätzen

• Involvierte Definitionen:
  • siehe auch Inter-Annotator-Agreement
• Veranstaltung: IRO
• Referenz: @wagenpfeil2024 (KE4, p. 8)

⠀

Definition: Pooling zur Erstellung von Datensätzen

Als Pooling bezeichnen wir einen Ansatz zur Erstellung von Evaluationsdaten im Information Retrieval.

Dabei werden zunächst unterschiedliche IR-Systeme genutzt, um eine Menge (vermeintlich) relevanter Dokumente zu einer Query zu finden. Die Dokumente dieser Menge werden anschließend von Experten auf Relevanz geprüft und entsprechend bewertet.

So kann ein Goldstandards (auch ground truth) auch für sehr große Dokumentenkollektionen erstellt werden.