Proposition - Berechnung des zugewiesenen Speichers einer Spark-Applikation in YARN

• Involvierte Definitionen:
  • Apache Spark
  • YARN
  • siehe auch Berechnung der Anzahl zugewiesener Kerne einer Spark-Applikation in YARN
• Veranstaltung: DEDS
• Referenz: Einsendeaufgaben zu KE5

⠀

Proposition: Berechnung des zugewiesenen Speichers einer Spark-Applikation in YARN

Den zugewiesenen Speichers einer Spark-Applikation in YARN berechnen wir durch

wobei wir die jeweiligen Werte aus <SPARK_CONF_DIR>/spark-defaults.conf auslesen können.