티스토리 뷰

공부

[EMR] spark submit java 11

승가비 2023. 4. 4. 10:04
728x90

이 세 가지 설정(conf)는 모두 Spark 클러스터에서 실행되는 다른 컴포넌트들이 사용하는 자바 환경 변수(JAVA_HOME)을 설정하는 데 사용됩니다.

spark.yarn.appMasterEnv.JAVA_HOME: 이 설정은 Spark on YARN 모드에서 사용됩니다. 이는 Spark Application Master(즉, Spark의 클러스터 관리자)가 실행되는 노드에서 사용할 자바 환경 변수를 설정합니다.

spark.driverEnv.JAVA_HOME: 이 설정은 Spark Standalone 모드와 Mesos 모드에서 사용됩니다. 이는 Spark 드라이버가 실행되는 노드에서 사용할 자바 환경 변수를 설정합니다.

spark.executorEnv.JAVA_HOME: 이 설정은 Spark Standalone 모드, Mesos 모드, YARN 모드 등 여러 모드에서 사용됩니다. 이는 Spark Executor가 실행되는 노드에서 사용할 자바 환경 변수를 설정합니다.

따라서 각 설정은 다른 환경에서 실행되는 Spark의 다른 컴포넌트에서 사용할 자바 환경 변수를 설정합니다.

spark.yarn.appMasterEnv.JAVA_HOME=/usr/lib/jvm/java-11-amazon-corretto*
spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-11-amazon-corretto*

https://brocess.tistory.com/176

 

[ Spark ] 스파크 jdk버전 바꿔서 실행하기

현상황 : Cloudera(클라우데라) 버전(CDH 5.5.1, Parcel), Spark버전(1.5) - jdk version 1.7필요상황 : 기존 작업을 Spark1.5(jdk1.7) - jdk 1.8로 돌리기준비상황 : 클러스터의 각 노드들에 jdk1.8이 설치되어 있어야 함.

brocess.tistory.com

 

728x90
저작자표시 비영리

'공부' 카테고리의 다른 글

[os] version check  (0) 2023.04.05
[aws] billing to slack  (0) 2023.04.05
[linux] add user, user_su  (0) 2023.04.03
[linux] change apt server  (0) 2023.03.30
[emr] auto scaling  (0) 2023.03.30
댓글