티스토리 뷰

공부

[yarn] memory & core

승가비 2023. 3. 14. 02:27
728x90
yarn.nodemanager.resource.memory-mb
yarn.nodemanager.resource.cpu-vcores

yarn.scheduler.minimum-allocation-mb
yarn.scheduler.maximum-allocation-mb

yarn.scheduler.minimum-allocation-vcores
yarn.scheduler.maximum-allocation-vcores

https://wooono.tistory.com/145

 

[Spark] java.lang.IllegalArgumentException: Required executor memory (13312), overhead (2496 MB), and PySpark memory (0 MB) is a

우선 YARN Resource의 개념에 대해 간단하게 알고 넘어가자 YARN Resource 개념 클러스터에 있는 노드 하나의 물리적 자원이 다음과 같다고 가정했을 때 CPU : 24 Memory : 128GB 다음 그림과 같이 YARN 리소스

wooono.tistory.com

https://m.blog.naver.com/gyrbsdl18/220594197752

 

YARN (MR2 Included) 설정 가이드

1) yarn-site.xml yarn이 관리하는 "리소스" 단위는 "컨테이너" 라고 볼 수 있다. 컨테이너는 cp...

blog.naver.com

https://serverfault.com/questions/896783/how-to-determine-yarn-scheduler-maximum-allocation-vcores-value-in-ambari-cluste

 

how to determine yarn.scheduler.maximum-allocation-vcores value in ambari cluster

we have ambari cluster ( version 2.6 ) with 3 workers machine , and each worker machine have 16 CPU CORE ( see pic down ) , while each machine have 32G memory according to: yarn.nodemanager.resou...

serverfault.com

https://eyeballs.tistory.com/165

 

[YARN] memory 기본 지식 및 세팅 방법

spark 를 yarn 위에서 실행하다가 자원 관련 문제를 맞닥뜨려서 yarn 메모리 관리하는 방법에 대해 공부하기로 함. 공부하고 있는 내용을 적은 거라서, 틀린 내용이 있을 수 있습니다. yarn 은 다양한

eyeballs.tistory.com

 

728x90
저작자표시 비영리

'공부' 카테고리의 다른 글

[airflow] variables `{{ var.value.aa }}`  (0) 2023.03.14
[spark] show(count, false); no_truncated=false  (0) 2023.03.14
[zeppelin] lifecyclemanager  (0) 2023.03.12
[spark] Spark throwing FileNotFoundException when overwriting dataframe on S3  (0) 2023.03.12
[sh] sleep 3 (3s); sleep 0.3 (0.3s)  (0) 2023.03.12
댓글