티스토리 뷰
공부
[emr] spark.json (yarn.nodemanager.resource.memory-mb, yarn.scheduler.maximum-allocation-mb)
승가비 2023. 1. 5. 02:03728x90
[
{
"Classification": "spark-env",
"Configurations": [
{
"Classification": "export",
"Properties": {
"JAVA_HOME": "/usr/lib/jvm/java-11-amazon-corretto.x86_64"
}
}
]
},
{
"Classification": "spark-defaults",
"Properties": {
"spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-11-amazon-corretto.x86_64",
"spark.dynamicAllocation.enabled": "True"
}
},
{
"Classification": "hive-site",
"Properties": {
"hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"
}
},
{
"Classification": "spark-hive-site",
"Properties": {
"hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"
}
},
{
"Classification": "spark",
"Properties": {
"maximizeResourceAllocation": "true"
}
},
{
"Classification": "yarn-site",
"Properties": {
"yarn.nodemanager.resource.memory-mb": "40960",
"yarn.scheduler.maximum-allocation-mb": "40960"
}
}
]
---
https://wooono.tistory.com/145
- yarn.nodemanager.resource.memory-mb
- nodemanager의 메모리 크기
- 한 노드의 물리 메모리가 128GB이므로, OS를 위한 8GB 정도를 제외해 120GB로 설정
- yarn.scheduler.maximum-allocation-mb
- ResourceManager가 하나의 컨테이너 할당에 필요한 최대 메모리 크기
- 따라서, "yarn.scheduler.maximum-allocation-mb" 값은 "yarn.nodemanager.resource.memory-mb" 값 이하로 설정해야한다.
---
- yarn.nodemanager.resource.memory-mb
- 클러스터의 각 노드에서 컨테이너 운영에 설정할 수 있는 메모리의 총량
- 노드의 OS를 운영할 메모리를 제외하고 설정
- 기본값은 장비에 설정된 메모리의 80% 정도를 설정
- 노드의 메모리가 32G인경우 운영체제를 위한 4G를 제외하고 28G를 설정
- yarn.nodemanager.resource.cpu-vcores
- 클러스터의 각 노드에서 컨테이너 운영에 설정할 수 있는 CPU의 개수
- 기본값은 장비에 설치된 CPU의 80% 정도를 설정
- 노드에 설치된 CPU가 40개일 경우 32를 설정
- yarn.scheduler.maximum-allocation-mb
- 하나의 컨테이너에 할당할 수 있는 메모리의 최대값
- 8G가 기본 값
- yarn.scheduler.minimum-allocation-mb
- 하나의 컨테이너에 할당할 수 있는 메모리의 최소값
- 1G가 기본값
- yarn.nodemanager.vmem-pmem-ratio
- 실제 메모리 대비 가상 메모리 사용 비율
- mapreduce.map.memory.mb * 설정값의 비율로 사용 가능
- 메모리를 1G로 설정하고, 이 값을 10으로 설정하면 가상메모리를 10G 사용
- yarn.nodemanager.vmem-check-enabled
- 가상 메모리에 대한 제한이 있는지 확인하여, true 일 경우 메모리 사용량을 넘어서면 컨테이너를 종료
- false 로 설정하여 가상메모리는
- yarn.nodemanager.pmem-check-enabled
- 물리 메모리에 대한 제한이 있는지 확인하여, true 일 경우 메모리 사용량을 넘어서면 컨테이너를 종료
728x90
'공부' 카테고리의 다른 글
[hive] delete table (insert overwrite table) (0) | 2023.01.05 |
---|---|
[sh] `cmd > stderr.txt 2>&1` or `cmd >> stderr.txt 2>&1` (0) | 2023.01.05 |
[sh] replace `echo $LINE | sed -e "s/12345678/${replace}/g"` (0) | 2023.01.05 |
[jq] concat fields `curl … | jq -r '.data[] | .name + " " + .id'` (0) | 2023.01.05 |
[curl] check ip & port `curl -v telnet://ip:port` (0) | 2023.01.05 |
댓글
250x250
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
TAG
- 유투브
- Bot
- 어떻게 능력을 보여줄 것인가?
- 테슬라 레퍼럴 적용 확인
- 인스타그램
- 메디파크 내과 전문의 의학박사 김영수
- 모델 Y 레퍼럴
- Kluge
- 테슬라 리퍼럴 코드 혜택
- 팔로워 수 세기
- 할인
- 테슬라 레퍼럴
- 테슬라 크레딧 사용
- 레퍼럴
- 모델y
- 테슬라 추천
- 클루지
- COUNT
- 테슬라 리퍼럴 코드
- 테슬라 레퍼럴 코드 확인
- follower
- 연애학개론
- 개리마커스
- 김달
- 테슬라
- wlw
- 테슬라 리퍼럴 코드 생성
- 책그림
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
글 보관함