티스토리 뷰
공부
[spark] spark-submit --conf spark.yarn.appMasterEnv.JAVA_HOME=/usr/lib/jvm/java-11-amazon-corretto.x86_64
승가비 2022. 11. 26. 05:39728x90
"--conf", "spark.yarn.appMasterEnv.JAVA_HOME=/usr/lib/jvm/java-11-amazon-corretto.x86_64",https://brocess.tistory.com/176
[ Spark ] 스파크 jdk버전 바꿔서 실행하기
현상황 : Cloudera(클라우데라) 버전(CDH 5.5.1, Parcel), Spark버전(1.5) - jdk version 1.7필요상황 : 기존 작업을 Spark1.5(jdk1.7) - jdk 1.8로 돌리기준비상황 : 클러스터의 각 노드들에 jdk1.8이 설치되어 있어야 함.
brocess.tistory.com
728x90
'공부' 카테고리의 다른 글
| [mlops] feast (0) | 2022.11.26 |
|---|---|
| [aws] s3, s3n, s3a (0) | 2022.11.26 |
| [aws] cli s3 du (0) | 2022.11.26 |
| [aws] CloudTrail vs CloudWatch (0) | 2022.11.26 |
| [spark] spark streaming, DStream, streaming context, windowing, watermarking (0) | 2022.11.26 |
댓글