Athena의 스키마 업데이트 및 데이터 형식예상 스키마 업데이트 유형요약CSV(헤더 포함 및 불포함) 및 TSVJSONAVROPARQUET: 이름으로 읽기(기본값)PARQUET: 인덱스로 읽기ORC: 인덱스로 읽기(기본값)ORC: 이름으로 읽기 열 이름 바꾸기 CSV 및 TSV 또는 ORC 및 Parquet(인덱스로 읽는 경우) 형식으로 데이터를 저장합니다. Y N N N Y Y N 테이블의 시작 또는 중간에 열 추가 JSON, AVRO 또는 Parquet 및 ORC(이름으로 읽는 경우) 형식으로 데이터를 저장합니다. CSV 및 TSV를 사용하지 마세요. N Y Y Y N N Y 테이블 끝에 열 추가 CSV나 TSV, JSON, AVRO, ORC 또는 Parquet 형식으로 데이터를 저장합니다. Y Y..
https://velog.io/@hsh/DBT-Data-Build-Tool DBT: Data Build Tool - 일종의 체계적인 view 시스템 - `ELT`: Extract→Load→`Transform` (NOT `ETL`) velog.io https://kgw7401.tistory.com/72 dbt 꼭 써야할까? dbt 정의/사용이유/필요성 🔎dbt를 써야할까? 데이터 엔지니어링 프로젝트를 진행하면서 dbt라는 도구를 알게 되었다. 대충 파이프라인 효율적으로 관리해주는 도구라는 이야기를 듣고, 이번 프로젝트에 한 번 사용해봐야 kgw7401.tistory.com https://towardsdatascience.com/aws-athena-dbt-integration-4e1dce0d97fc AWS ..
d=db t=table p=partition ALTER TABLE ${d}.${t} SET TBLPROPERTIES('EXTERNAL'='TRUE'); ALTER TABLE ${d}.${t} DROP PARTITION (${p} ''); MSCK REPAIR TABLE ${d}.${t}; https://118k.tistory.com/349 [하이브] 매니지드 테이블과 익스터널 테이블 변경하기 하이브의 테이블은 매니지드(MANAGED) 테이블과 익스터널(EXTERNAL) 테이블 타입이 존재한다. 매니지드 테이블은 테이블을 drop 하면 관리하는 파일도 삭제가 되고, 익스터널 테이블은 파일은 보관된 118k.tistory.com https://stackoverflow.com/questions/46307667..
https://stackoverflow.com/questions/19750653/how-to-append-text-files-using-batch-files How to append text files using batch files How can I append file1 to file2, from a batch file? Text files and only using what is "standard" on windows. stackoverflow.com
#!/bin/bash input=$1 output=$2 rm $output n=0 while read line; do comma="${line//[^,]}" cnt="${#comma}" echo "Line No. ${n} : ${cnt}" >> $output n=$((n+1)) done < ${input} var="text,text,text,text" res="${var//[^,]}" echo "$res" echo "${#res}" ,,, 3 https://stackoverflow.com/questions/16679369/count-occurrences-of-a-char-in-a-string-using-bash Count occurrences of a char in a string using Bash I..
sudo systemctl list-units
https://stackoverflow.com/questions/2061439/string-concatenation-in-jinja String concatenation in Jinja I just want to loop through an existing list and make a comma delimited string out of it. Something like this: my_string = 'stuff, stuff, stuff, stuff' I already know about loop.last, I just need to stackoverflow.com
yarn.nodemanager.resource.memory-mb yarn.nodemanager.resource.cpu-vcores yarn.scheduler.minimum-allocation-mb yarn.scheduler.maximum-allocation-mb yarn.scheduler.minimum-allocation-vcores yarn.scheduler.maximum-allocation-vcores https://wooono.tistory.com/145 [Spark] java.lang.IllegalArgumentException: Required executor memory (13312), overhead (2496 MB), and PySpark memory (0 MB) is a 우선 YARN R..
https://jaemunbro.medium.com/zeppelin-%EB%8B%A4%EC%A4%91-interpreter-binding%EA%B3%BC-interpreter-timeout-ce7ad4c3312c [Zeppelin] 다중 Interpreter binding과 Interpreter Timeout 설정하기 EMR의 Spark Zeppelin을 운영하고 있는데 여러 사용자가 들어와서 Job을 수행하는 경우가 잦다. 이러한 Multi Tenant Zepplin을 운영하는데 조금더 필요한 설정들이 무엇이 있을까? jaemunbro.medium.com https://aws.amazon.com/ko/premiumsupport/knowledge-center/yarn-uses-resources-after..
https://stackoverflow.com/questions/37254681/spark-throwing-filenotfoundexception-when-overwriting-dataframe-on-s3 Spark throwing FileNotFoundException when overwriting dataframe on S3 I have partitioned parquet files stored on two locations on S3 in the same bucket: path1: s3n://bucket/a/ path2: s3n://bucket/b/ The data has the same structure. I want to read the files from the... stackoverflow...
pip3 install jq parse() { key=$1 python3 -c " import sys import jq import json input = json.load(sys.stdin) output = jq.compile('$key').input(input).all() if(isinstance(output, list)): output = ' '.join(output) print(output) " } name=$(aws emr describe-cluster --cluster-id $id | parse ".Cluster.Name") echo $name https://stackoverflow.com/questions/1955505/parsing-json-with-unix-tools?page=2&tab=..
fun id(): String { return make() .sparkContext() .applicationId() } https://knight76.tistory.com/entry/YARN%EC%97%90-%EB%B0%B0%ED%8F%AC%EB%90%9C-Spark-%EC%95%A0%ED%94%8C%EB%A6%AC%EC%BC%80%EC%9D%B4%EC%85%98%EC%9D%98-Application-ID-%EC%96%BB%EA%B8%B0 YARN에 배포된 Spark 애플리케이션의 Application ID 얻기 How to get applicationId of Spark application deployed to YARN in ... https://spark.apache.org/docs/2.3.0/a..
ALTER TABLE EMP_DTLS MODIFY COLUMN EMP_ID INT(10) FIRST ALTER TABLE EMP_DTLS MODIFY COLUMN EMP_ID INT(10) AFTER id https://stackoverflow.com/questions/20179801/place-an-existing-column-at-first-position-in-mysql place an existing column at first position in mysql please tell me how to place an existing column(contained values) at first position in mysql. Suppose i have a table EMP_DTLS and there..
val numbers = emptyList() val sumFromTen = numbers.fold(10) { total, num -> total + num } println("folded: $sumFromTen") // folded: 10 val sum = numbers.reduce { total, num -> total + num } println("reduced: $sum") folded: 10 Empty collection can't be reduced. java.lang.UnsupportedOperationException: Empty collection can't be reduced. at kr.leocat.test.FoldTest.test(FoldTest.kt:35) ... https://b..
- Total
- Today
- Yesterday
- 테슬라 리퍼럴 코드 혜택
- 책그림
- 김달
- 인스타그램
- 테슬라 레퍼럴 코드 확인
- Bot
- 유투브
- 테슬라 리퍼럴 코드
- 개리마커스
- 테슬라 추천
- 팔로워 수 세기
- Kluge
- follower
- wlw
- 할인
- 테슬라
- 모델y
- 클루지
- 메디파크 내과 전문의 의학박사 김영수
- 테슬라 리퍼럴 코드 생성
- 어떻게 능력을 보여줄 것인가?
- COUNT
- 테슬라 레퍼럴
- 레퍼럴
- 테슬라 레퍼럴 적용 확인
- 연애학개론
- 테슬라 크레딧 사용
- 모델 Y 레퍼럴
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |