티스토리 뷰
728x90
[
{
"Classification": "spark-env",
"Configurations": [
{
"Classification": "export",
"Properties": {
"JAVA_HOME": "/usr/lib/jvm/java-11-amazon-corretto.x86_64"
}
}
]
},
{
"Classification": "spark-defaults",
"Properties": {
"spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-11-amazon-corretto.x86_64",
"spark.sql.broadcastTimeout": "3600",
"spark.yarn.executor.memoryOverheadFactor": "0.1",
"spark.default.parallelism": "200",
"spark.yarn.am.memory": "2g",
"spark.executor.extraJavaOptions": "-XX:+IgnoreUnrecognizedVMOptions"
}
},
{
"Classification": "hive-site",
"Properties": {
"hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"
}
},
{
"Classification": "spark-hive-site",
"Properties": {
"hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"
}
},
{
"Classification": "yarn-site",
"Properties": {
"yarn.nodemanager.pmem-check-enabled": "false",
"yarn.nodemanager.vmem-check-enabled": "false",
"yarn.nodemanager.vmem-pmem-ratio": "5",
"yarn.nodemanager.resource.cpu-vcores": "4",
"yarn.nodemanager.resource.memory-mb": "253952",
"yarn.scheduler.maximum-allocation-vcores": "128",
"yarn.scheduler.maximum-allocation-mb": "253952"
}
},
{
"Classification": "spark",
"Properties": {
"maximizeResourceAllocation": "true"
}
}
]
https://www.facebook.com/groups/sparkkoreauser/posts/1323386911056542/
https://docs.aws.amazon.com/ko_kr/emr/latest/ReleaseGuide/emr-spark-configure.html
728x90
'공부' 카테고리의 다른 글
Dockerfile': group id '1849965015' is too big ( > 2097151 ). Use STAR or POSIX extensions to overcome this limit (0) | 2022.08.22 |
---|---|
[aws][s3] bucket lifecycle (0) | 2022.08.22 |
[github] events that trigger workflows (0) | 2022.08.18 |
[python] 기본 날짜와 시간 형식 (0) | 2022.08.18 |
[python] pandas loc - filter for list of values (0) | 2022.08.18 |
댓글
250x250
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
TAG
- 테슬라 레퍼럴 적용 확인
- 레퍼럴
- follower
- 테슬라 레퍼럴
- Kluge
- Bot
- COUNT
- wlw
- 테슬라 리퍼럴 코드 생성
- 할인
- 테슬라 크레딧 사용
- 연애학개론
- 책그림
- 어떻게 능력을 보여줄 것인가?
- 테슬라 리퍼럴 코드
- 인스타그램
- 테슬라 레퍼럴 코드 확인
- 팔로워 수 세기
- 모델y
- 테슬라 추천
- 유투브
- 김달
- 테슬라
- 메디파크 내과 전문의 의학박사 김영수
- 테슬라 리퍼럴 코드 혜택
- 클루지
- 모델 Y 레퍼럴
- 개리마커스
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
글 보관함