Definition - Map-Combine-Reduce

• Generalisierungen:
  • MapReduce
• Involvierte Definitionen:
• Veranstaltung: DEDS
• Referenz:
  • @storl2024 (Analyse von Big Data)

⠀

Definition: Map-Combine-Reduce

Als Map-Combine-Reduce definieren wir eine Erweiterung des MapReduce Paradigmas, bei der der Netzwerktraffic des Shuffle-Schrittes reduziert wird.

1. Map: Verarbeitet Eingabedaten und erzeugt Zwischenpaare (Key, Value).
2. Combine: Auf den Map-Nodes werden die Daten schon nach Key voraggergiert.
3. Shuffle: Die Zwischenpaare (Key, Value) werden so auf neue Nodes verteilt, dass jeder Node alle Werte mit einem bestimmten Key erhält.
4. Reduce: Aggregiert diese Paare und erzeugt die Endergebnisse.