티스토리 뷰

공부

[Spark] submit conf by tuning

승가비 2020. 5. 14. 02:32
728x90
HADOOP_USER_NAME=$user $SPARK_HOME/bin/spark-submit \
--master yarn-cluster \
--driver-memory 32g \
--driver-cores 4 \
--executor-memory 19g \
--executor-cores 5 \
--num-executors 17 \
--conf spark.shuffle.service.enabled=true \
--conf spark.dynamicAllocation.enabled=true \
--conf spark.dynamicAllocation.minExecutors=5 \
--conf spark.dynamicAllocation.maxExecutors=100 \
--conf spark.dynamicAllocation.initialExecutors=17 \
--queue $queue \
--class $class \
--name $name \

 

http://blog.naver.com/PostView.nhn?blogId=gyrbsdl18&logNo=220880041737

 

SPARK 설정 Tuning 하기

SPARK job 성능에 중요한 영향을 미치는 설정 값들에 대해 정리한다. 다음 두 가지를 정리할 것이다.-...

blog.naver.com

https://exmemory.tistory.com/92

 

[Spark] 튜닝, 디버깅, 그리고 개발자가 신경 쓰지 않는 것들

스파크 튜닝과 클러스터 사이징 대부분의 스파크 세팅은 애플리케이션 수준에서만 조정이 가능하다. 이러한 세팅들은 작업 속도와 완료 여부에 큰 영향을 끼친다. 스파크의 기본 세팅은 작은

exmemory.tistory.com

 

728x90
저작자표시 비영리

'공부' 카테고리의 다른 글

[SpringBoot] configuration memory heap size  (0) 2020.05.17
[JS] uniqBy array by Lodash  (0) 2020.05.17
[Chrome] active tab execute command  (0) 2020.05.14
[JS] scroll go to edge  (0) 2020.05.14
[HBase] Time to Live (TTL)  (0) 2020.05.14
댓글