공부
[spark] spark-submit --conf spark.yarn.appMasterEnv.JAVA_HOME=/usr/lib/jvm/java-11-amazon-corretto.x86_64
승가비
2022. 11. 26. 05:39
728x90
"--conf", "spark.yarn.appMasterEnv.JAVA_HOME=/usr/lib/jvm/java-11-amazon-corretto.x86_64",https://brocess.tistory.com/176
[ Spark ] 스파크 jdk버전 바꿔서 실행하기
현상황 : Cloudera(클라우데라) 버전(CDH 5.5.1, Parcel), Spark버전(1.5) - jdk version 1.7필요상황 : 기존 작업을 Spark1.5(jdk1.7) - jdk 1.8로 돌리기준비상황 : 클러스터의 각 노드들에 jdk1.8이 설치되어 있어야 함.
brocess.tistory.com
728x90