티스토리 뷰

공부

[zeppelin] lifecyclemanager

승가비 2023. 3. 12. 23:27
728x90

https://jaemunbro.medium.com/zeppelin-%EB%8B%A4%EC%A4%91-interpreter-binding%EA%B3%BC-interpreter-timeout-ce7ad4c3312c

 

[Zeppelin] 다중 Interpreter binding과 Interpreter Timeout 설정하기

EMR의 Spark Zeppelin을 운영하고 있는데 여러 사용자가 들어와서 Job을 수행하는 경우가 잦다. 이러한 Multi Tenant Zepplin을 운영하는데 조금더 필요한 설정들이 무엇이 있을까?

jaemunbro.medium.com

https://aws.amazon.com/ko/premiumsupport/knowledge-center/yarn-uses-resources-after-emr-spark-job/

 

작업이 완료된 후 실행되는 YARN 애플리케이션 문제 해결

Amazon EMR에서 실행한 Spark 작업이 완료된 후에도 YARN 애플리케이션이 리소스를 계속 사용하는 이유는 무엇인가요? 최종 업데이트 날짜: 2021년 6월 24일 Amazon EMR 클러스터에서 Jupyter 또는 Zeppelin 노

aws.amazon.com

https://stackoverflow.com/questions/59591498/spark-yarn-applications-started-by-zeppelin-in-yarn-cluster-mode-arent-killed

 

Spark (Yarn) applications started by Zeppelin in Yarn Cluster Mode aren't killed after zeppein is stopped

I'm running Zeppelin 0.8.1 and have configured it to submit Spark jobs to a Yarn 2.7.5 cluster, with interpreters both in cluster-mode (as in the AM is running on yarn, and not on driver host), and...

stackoverflow.com

 

728x90
저작자표시 비영리

'공부' 카테고리의 다른 글

[spark] show(count, false); no_truncated=false  (0) 2023.03.14
[yarn] memory & core  (0) 2023.03.14
[spark] Spark throwing FileNotFoundException when overwriting dataframe on S3  (0) 2023.03.12
[sh] sleep 3 (3s); sleep 0.3 (0.3s)  (0) 2023.03.12
[sh] python jq  (0) 2023.03.12
댓글