[zeppelin] lifecyclemanager

https://jaemunbro.medium.com/zeppelin-%EB%8B%A4%EC%A4%91-interpreter-binding%EA%B3%BC-interpreter-timeout-ce7ad4c3312c [Zeppelin] 다중 Interpreter binding과 Interpreter Timeout 설정하기 EMR의 Spark Zeppelin을 운영하고 있는데 여러 사용자가 들어와서 Job을 수행하는 경우가 잦다. 이러한 Multi Tenant Zepplin을 운영하는데 조금더 필요한 설정들이 무엇이 있을까? jaemunbro.medium.com https://aws.amazon.com/ko/premiumsupport/knowledge-center/yarn-uses-resources-after..
공부 2023. 3. 12. 23:27
[spark] Spark throwing FileNotFoundException when overwriting dataframe on S3

https://stackoverflow.com/questions/37254681/spark-throwing-filenotfoundexception-when-overwriting-dataframe-on-s3 Spark throwing FileNotFoundException when overwriting dataframe on S3 I have partitioned parquet files stored on two locations on S3 in the same bucket: path1: s3n://bucket/a/ path2: s3n://bucket/b/ The data has the same structure. I want to read the files from the... stackoverflow...
공부 2023. 3. 12. 23:25
[sh] sleep 3 (3s); sleep 0.3 (0.3s)

https://devpouch.tistory.com/127 [bash] 리눅스 쉘 스크립트에서 sleep 함수 사용법 리눅스 bash 쉘스크립트의 sleep 명령어를 통해 프로그램 실행을 일시적으로 정지할 수 있다. sleep 명령어는 아래와 같이 사용할 수 있다. sleep 명령어 사용법 sleep 1 # 1초 일시 정지 sleep 1s # 1초 일시 devpouch.tistory.com
공부 2023. 3. 12. 23:23
[sh] python jq

pip3 install jq parse() { key=$1 python3 -c " import sys import jq import json input = json.load(sys.stdin) output = jq.compile('$key').input(input).all() if(isinstance(output, list)): output = ' '.join(output) print(output) " } name=$(aws emr describe-cluster --cluster-id $id | parse ".Cluster.Name") echo $name https://stackoverflow.com/questions/1955505/parsing-json-with-unix-tools?page=2&tab=..
공부 2023. 3. 12. 23:22
1
728x90
728x90