티스토리 뷰

공부

[Spark] submit conf by tuning

seunggabi 승가비 2020. 5. 14. 02:32
HADOOP_USER_NAME=$user $SPARK_HOME/bin/spark-submit \
--master yarn-cluster \
--driver-memory 32g \
--driver-cores 4 \
--executor-memory 19g \
--executor-cores 5 \
--num-executors 17 \
--conf spark.shuffle.service.enabled=true \
--conf spark.dynamicAllocation.enabled=true \
--conf spark.dynamicAllocation.minExecutors=5 \
--conf spark.dynamicAllocation.maxExecutors=100 \
--conf spark.dynamicAllocation.initialExecutors=17 \
--queue $queue \
--class $class \
--name $name \

 

http://blog.naver.com/PostView.nhn?blogId=gyrbsdl18&logNo=220880041737

 

SPARK 설정 Tuning 하기

SPARK job 성능에 중요한 영향을 미치는 설정 값들에 대해 정리한다. 다음 두 가지를 정리할 것이다.-...

blog.naver.com

 

'공부' 카테고리의 다른 글

[SpringBoot] configuration memory heap size  (0) 2020.05.17
[JS] uniqBy array by Lodash  (0) 2020.05.17
[Spark] submit conf by tuning  (0) 2020.05.14
[Chrome] active tab execute command  (0) 2020.05.14
[JS] scroll go to edge  (0) 2020.05.14
[HBase] Time to Live (TTL)  (0) 2020.05.14
댓글
댓글쓰기 폼