⚝ Apache Spark — 🔲 Comandos

Enviar traballos: spark-submit

Contorno CESGA:

spark-submit --driver-memory 4g --executor-memory 2g --num-executors 4 programa.py

Contorno propio:

spark-submit --deploy-mode cluster programa.py

Exemplo de código para definir a variable sc (sparkContext)

programa.py

from pyspark.sql import SparkSession
from pyspark import SparkContext

if __name__ == '__main__':
    spark = SparkSession \
        .builder \
        .appName('My Application') \
        .getOrCreate()
    sc = spark.sparkContext
    # ...
    # Aquí vai o código do teu programa
    # ..
    spark.stop()

YARN — Yet Another Resource Negotiator

Mirar os logs:

yarn logs -applicationId [APPID]

Ver tódolos nodos

yarn node -list -all

Finalizar unha aplicación

yarn application -kill APP_ID

jps