Definition - Dokumentenbasierte Partitionierung

• Generalisierungen:
  • Intra-Query-Parallelism
  • Partitionierung (NoSQL)
• Involvierte Definitionen:
  • siehe auch Partitionierung (NoSQL)
  • siehe auch Termbasierte Partitionierung
• Veranstaltung: IR
• Referenz: @wagenpfeil2024 (KE5, p. 17 ff.)

⠀

Definition: Dokumentenbasierte Partitionierung

Als Dokumentenbasierte Partitionierung bezeichnen wir eine Form des Intra-Query-Parallelism, bei der jedem Knoten eine Untermenge aller Dokumente (bspw. nach Thema oder zufällig) zugewiesen und von diesem indexiert¹ wird.

Die Knoten - und damit die erstellten Partitionen - werden von einem Masterknoten (auch receptionist) verwaltet. Die Queries werden an den Receptionist gestellt und von diesem an alle Knoten parallel weitergeleitet. Der Receptionist erhält die jeweiligen Ergebnisse, führt sie zusammen und erzeugt die finale Ausgabe.

Vorteil dieses Ansatzes ist, dass die Suche parallelisiert durchgeführt werden kann und dass auch bei einem Ausfall einiger Knoten weiter eine Ergebnismenge erstellt werden kann.

Anmerkung

Beispiel

Das folgende Beispiel zeigt jeweils eine Partitionierung nach Dokumenten (rote Rahmen) und nach Termen (blaue Rahmen):

Footnotes

1. Da jeder Knoten einen eigenen Index hält, wird von einem lokalen Index gesprochen. ↩