티스토리 뷰

공부

[spark] spark-submit --conf spark.yarn.appMasterEnv.JAVA_HOME=/usr/lib/jvm/java-11-amazon-corretto.x86_64

승가비 2022. 11. 26. 05:39
728x90
"--conf", "spark.yarn.appMasterEnv.JAVA_HOME=/usr/lib/jvm/java-11-amazon-corretto.x86_64",

https://brocess.tistory.com/176

 

[ Spark ] 스파크 jdk버전 바꿔서 실행하기

현상황 : Cloudera(클라우데라) 버전(CDH 5.5.1, Parcel), Spark버전(1.5) - jdk version 1.7필요상황 : 기존 작업을 Spark1.5(jdk1.7) - jdk 1.8로 돌리기준비상황 : 클러스터의 각 노드들에 jdk1.8이 설치되어 있어야 함.

brocess.tistory.com

 

728x90
저작자표시 비영리

'공부' 카테고리의 다른 글

[mlops] feast  (0) 2022.11.26
[aws] s3, s3n, s3a  (0) 2022.11.26
[aws] cli s3 du  (0) 2022.11.26
[aws] CloudTrail vs CloudWatch  (0) 2022.11.26
[spark] spark streaming, DStream, streaming context, windowing, watermarking  (0) 2022.11.26
댓글