티스토리 뷰

공부

[Spark] submit configuration

승가비 2019. 6. 30. 01:44
728x90
$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 16g \
--executor-memory 32g \
--executor-cores 8 \
--num-executors 20 \
--queue $1 \
--class $2 \
--name $3 \
lib/spark-examples*.jar \

https://spark.apache.org/docs/2.2.0/running-on-yarn.html

 

Running Spark on YARN - Spark 2.2.0 Documentation

Running Spark on YARN Support for running on YARN (Hadoop NextGen) was added to Spark in version 0.6.0, and improved in subsequent releases. Launching Spark on YARN Ensure that HADOOP_CONF_DIR or YARN_CONF_DIR points to the directory which contains the (cl

spark.apache.org

https://gritmind.blog/2020/10/16/spark_tune/

 

Spark 튜닝하기

Spark은 여러 층의 데이터 추상화 구조와 분산 아키텍쳐가 녹아있는 복잡한 프레임워크입니다. Spark Job이 정상적으로 실행된다고 다 끝난 것이 아닙니다. 튜닝을 잘하면 강건하고 효율적인 Spark Jo

gritmind.blog

 

728x90
저작자표시 비영리

'공부' 카테고리의 다른 글

[NodeJS] node how to create a directory if doesn't exist?  (0) 2019.06.30
[Java] HttpURLConnection timeout settings  (0) 2019.06.30
[Git] In a Git repository, how to properly rename a directory?  (0) 2019.06.30
[SQL] IN () Max count  (0) 2019.06.30
[Regex] start word ... end word  (0) 2019.06.30
댓글