배우기를 멈추는 사람은 20세건 80세건 늙은 것이다.

https://cdcsman.tistory.com/entry/ubuntu-apt-%EC%84%9C%EB%B2%84-%EB%B3%80%EA%B2%BD%ED%95%98%EA%B8%B0?category=205024 ubuntu apt 서버 변경하기 kakao 서버로 변경(http://mirror.kakao.com/ubuntu/, 기본 서버는 속도가 느림) $ sudo sed -i s/kr.archive.ubuntu.com/mirror.kakao.com/g /etc/apt/sources.list $ sudo apt update 변경된 서버에서 정보 받아오기 $ sudo apt update 받기: cdcsman.tistory.com sudo sed -i s/kr.archive.ubuntu.com/mirror.ka..

https://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/emr-automatic-scaling.html 인스턴스 그룹에 대한 사용자 지정 정책과 함께 자동 조정 사용 - Amazon EMR 대부분의 워크로드에서 리소스 활용을 최적화하려면 확장 및 축소 규칙을 모두 설정하는 것이 바람직합니다. 다른 규칙 없이 어느 한 규칙만 설정하면 조정 활동 후에 인스턴스 수를 수동으로 docs.aws.amazon.com https://github.com/dwp/aws-analytical-env/blob/d9841645169ee0336494c504f4c220d202d1b0fc/terraform/modules/emr/templates/emr/autoscaling_pol..

https://airflow.apache.org/docs/apache-airflow/2.0.2/configurations-ref.html Configuration Reference — Airflow Documentation airflow.apache.org

https://www.amazonaws.cn/en/ec2/instance-types/ Amazon EC2 Instance Types Our support for Internet Explorer ends on 07/31/2022. Supported browsers are Chrome, Firefox, Edge, and Safari. www.amazonaws.cn https://aws.amazon.com/ko/emr/pricing/ 빅 데이터 처리 및 데이터 분석 – Amazon EMR 요금 – Amazon Web Services aws.amazon.com

https://yeo0.tistory.com/entry/AWS-EMR-MasterCoreTaskAutoScalingSpotInstance [AWS][EMR] EMR ( Master/Core/Task/AutoScaling/SpotInstance ) EMR은 기존 Hadoop에서의 Computing 부분을 그대로 구현해 놓은 플랫폼이라고 이해하면 된다. (Storage는 HDFS를 사용할수도 있지만, 주로 Object Strorage인 S3과 함께 사용한다.) Cloud 특성에 맞게 Auto Scaling yeo0.tistory.com

(redirect) http -> https https://blog.airbrake.io/blog/http-errors/303-see-other

Athena의 스키마 업데이트 및 데이터 형식예상 스키마 업데이트 유형요약CSV(헤더 포함 및 불포함) 및 TSVJSONAVROPARQUET: 이름으로 읽기(기본값)PARQUET: 인덱스로 읽기ORC: 인덱스로 읽기(기본값)ORC: 이름으로 읽기 열 이름 바꾸기 CSV 및 TSV 또는 ORC 및 Parquet(인덱스로 읽는 경우) 형식으로 데이터를 저장합니다. Y N N N Y Y N 테이블의 시작 또는 중간에 열 추가 JSON, AVRO 또는 Parquet 및 ORC(이름으로 읽는 경우) 형식으로 데이터를 저장합니다. CSV 및 TSV를 사용하지 마세요. N Y Y Y N N Y 테이블 끝에 열 추가 CSV나 TSV, JSON, AVRO, ORC 또는 Parquet 형식으로 데이터를 저장합니다. Y Y..

https://velog.io/@hsh/DBT-Data-Build-Tool DBT: Data Build Tool - 일종의 체계적인 view 시스템 - `ELT`: Extract→Load→`Transform` (NOT `ETL`) velog.io https://kgw7401.tistory.com/72 dbt 꼭 써야할까? dbt 정의/사용이유/필요성 🔎dbt를 써야할까? 데이터 엔지니어링 프로젝트를 진행하면서 dbt라는 도구를 알게 되었다. 대충 파이프라인 효율적으로 관리해주는 도구라는 이야기를 듣고, 이번 프로젝트에 한 번 사용해봐야 kgw7401.tistory.com https://towardsdatascience.com/aws-athena-dbt-integration-4e1dce0d97fc AWS ..

import boto3 from botocore.config import Config _MAX_ATTEMPTS = 15 def boto3_client(type): config = Config( retries={ "max_attempts": _MAX_ATTEMPTS, "mode": "standard" } ) return boto3.client(type, config=config)

d=db t=table p=partition ALTER TABLE ${d}.${t} SET TBLPROPERTIES('EXTERNAL'='TRUE'); ALTER TABLE ${d}.${t} DROP PARTITION (${p} ''); MSCK REPAIR TABLE ${d}.${t}; https://118k.tistory.com/349 [하이브] 매니지드 테이블과 익스터널 테이블 변경하기 하이브의 테이블은 매니지드(MANAGED) 테이블과 익스터널(EXTERNAL) 테이블 타입이 존재한다. 매니지드 테이블은 테이블을 drop 하면 관리하는 파일도 삭제가 되고, 익스터널 테이블은 파일은 보관된 118k.tistory.com https://stackoverflow.com/questions/46307667..

https://stackoverflow.com/questions/19750653/how-to-append-text-files-using-batch-files How to append text files using batch files How can I append file1 to file2, from a batch file? Text files and only using what is "standard" on windows. stackoverflow.com

#!/bin/bash input=$1 output=$2 rm $output n=0 while read line; do comma="${line//[^,]}" cnt="${#comma}" echo "Line No. ${n} : ${cnt}" >> $output n=$((n+1)) done < ${input} var="text,text,text,text" res="${var//[^,]}" echo "$res" echo "${#res}" ,,, 3 https://stackoverflow.com/questions/16679369/count-occurrences-of-a-char-in-a-string-using-bash Count occurrences of a char in a string using Bash I..

sudo systemctl list-units

https://stackoverflow.com/questions/2061439/string-concatenation-in-jinja String concatenation in Jinja I just want to loop through an existing list and make a comma delimited string out of it. Something like this: my_string = 'stuff, stuff, stuff, stuff' I already know about loop.last, I just need to stackoverflow.com

https://stackoverflow.com/questions/69048706/airflow-how-to-get-an-airflow-variable-inside-the-bash-command-in-bash-operato