티스토리 뷰
728x90
이 세 가지 설정(conf)는 모두 Spark 클러스터에서 실행되는 다른 컴포넌트들이 사용하는 자바 환경 변수(JAVA_HOME)을 설정하는 데 사용됩니다.
spark.yarn.appMasterEnv.JAVA_HOME: 이 설정은 Spark on YARN 모드에서 사용됩니다. 이는 Spark Application Master(즉, Spark의 클러스터 관리자)가 실행되는 노드에서 사용할 자바 환경 변수를 설정합니다.
spark.driverEnv.JAVA_HOME: 이 설정은 Spark Standalone 모드와 Mesos 모드에서 사용됩니다. 이는 Spark 드라이버가 실행되는 노드에서 사용할 자바 환경 변수를 설정합니다.
spark.executorEnv.JAVA_HOME: 이 설정은 Spark Standalone 모드, Mesos 모드, YARN 모드 등 여러 모드에서 사용됩니다. 이는 Spark Executor가 실행되는 노드에서 사용할 자바 환경 변수를 설정합니다.
따라서 각 설정은 다른 환경에서 실행되는 Spark의 다른 컴포넌트에서 사용할 자바 환경 변수를 설정합니다.
spark.yarn.appMasterEnv.JAVA_HOME=/usr/lib/jvm/java-11-amazon-corretto*
spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-11-amazon-corretto*
https://brocess.tistory.com/176
728x90
'공부' 카테고리의 다른 글
[os] version check (0) | 2023.04.05 |
---|---|
[aws] billing to slack (0) | 2023.04.05 |
[linux] add user, user_su (0) | 2023.04.03 |
[linux] change apt server (0) | 2023.03.30 |
[emr] auto scaling (0) | 2023.03.30 |
댓글
250x250
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
TAG
- 메디파크 내과 전문의 의학박사 김영수
- 모델 Y 레퍼럴
- Bot
- 할인
- 모델y
- 테슬라 레퍼럴 적용 확인
- 김달
- 책그림
- Kluge
- 테슬라 리퍼럴 코드 혜택
- 테슬라
- 테슬라 추천
- 유투브
- 테슬라 크레딧 사용
- 어떻게 능력을 보여줄 것인가?
- wlw
- follower
- 레퍼럴
- 클루지
- 개리마커스
- 테슬라 레퍼럴
- 인스타그램
- 연애학개론
- 테슬라 레퍼럴 코드 확인
- COUNT
- 테슬라 리퍼럴 코드
- 팔로워 수 세기
- 테슬라 리퍼럴 코드 생성
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
글 보관함