배우기를 멈추는 사람은 20세건 80세건 늙은 것이다.

https://intellij-support.jetbrains.com/hc/en-us/community/posts/206230739-Refreshing-environment-variables

해결 방법 "_ $ folder $" 파일은 자리 표시자입니다. -mkdir 명령을 사용하여 S3 버킷에 폴더를 생성하면 Apache 하둡이 이러한 파일을 생성합니다. 하둡은 첫 번째 객체를 PUT할 때까지 폴더를 생성하지 않습니다. 하나 이상의 객체를 PUT하기 전에 "_ $ folder $" 파일을 삭제하면 하둡이 폴더를 생성할 수 없습니다. 그러면 "해당 파일이나 디렉터리가 없음(No such file or directory)" 오류가 발생합니다. 일반적으로 "_$folder$" 파일을 삭제하지 않는 것이 좋습니다. 그러면 Amazon EMR 작업의 성능 문제가 발생할 수 있습니다. 단, Amazon S3에서 폴더를 수동으로 삭제한 다음 Amazon EMR 작업에서 또는 하둡 명령을 사용하여 폴더를..

버킷 이름 지정 규칙 PDFRSS Amazon S3의 버킷 이름 지정에는 다음 규칙이 적용됩니다. 버킷 이름은 3자(최소)에서 63자(최대) 사이여야 합니다. 버킷 이름은 소문자, 숫자, 점(.) 및 하이픈(-)으로만 구성될 수 있습니다. 버킷 이름은 문자 또는 숫자로 시작하고 끝나야 합니다. 버킷 이름에 두 마침표를 나란히 붙여 사용하면 안 됩니다. 버킷 이름은 IP 주소 형식(예: 192.168.5.4)을 사용하지 않습니다. 버킷 이름은 접두사 xn--로 시작해서는 안됩니다. 버킷 이름은 접미사 -s3alias로 끝나서는 안됩니다. 이 접미사는 액세스 포인트 별칭 이름 용도로 예약되어 있습니다. 자세한 정보는 S3 버킷 액세스 지점에 버킷 스타일 별칭 사용을 참조하십시오. 버킷 이름은 파티션 내 모든..

spark.hadoop.hive.exec.stagingdir: s3://temp/.hive-staging https://vanducng.dev/2020/12/05/Compact-multiple-small-files-on-HDFS/ Compact multiple small files on HDFS Hadoop can handle with very big file size, but will encounter performance issue with too many files with small size. The reason is explained in detailed from here. In short, every single on a data n vanducng.dev

https://swalloow.github.io/airflow-multi-tenent-1/ 여러 조직이 함께 사용하는 Airflow 만들기 사내 데이터가 다양해지고 사용자가 많아지면 접근 제어와 권한 등 다양한 고민이 생기게 됩니다. 이 글에서는 여러 조직이 함께 사용하는 Airflow를 만들 때 알아두면 좋은 내용들에 대해 정리해 swalloow.github.io

https://developer.mozilla.org/en-US/docs/Mozilla/Add-ons/WebExtensions/API/tabs/executeScript tabs.executeScript() - Mozilla | MDN Injects JavaScript code into a page. developer.mozilla.org

https://bitbucket.org/blog/cloning-another-bitbucket-repository-in-bitbucket-pipelines Cloning another Bitbucket repository in Bitbucket Pipelines - Bitbucket This post was written by Bitbucket user Ayush Sharma. I recently had a use-case where I wanted to clone another Bitbucket… bitbucket.org

org.springframework.beans.MethodInvocationException: Property 'cronExpression' threw exception; nested exception is java.text.ParseException: Support for specifying both a day-of-week AND a day-of-month parameter is not implemented. val cron = CronExpression( "0 " + expr.replace( Regex("\\*$"), "?" ) ) https://niees.tistory.com/67 org.springframework.beans.MethodInvocationException: Property 'cr..

https://stackoverflow.com/questions/68717837/how-to-store-json-in-a-single-column-of-a-csv-file How to store Json in a single column of a CSV file Assuming i have this Json: {"firstName":"myName","lastName":"lName"} is there anyway to store it as a value of a single CSV column. (some sort of escaping?) stackoverflow.com

import croniter from datetime import datetime s = "2022-09-19 00:00:00" d = datetime.strptime(s, '%Y-%m-%d %H:%M:%S') print(d) cron = croniter.croniter("* * * * *", d) print(cron.get_prev(datetime)) print(cron.get_next(datetime)) https://www.digitalocean.com/community/tutorials/python-string-to-datetime-strptime How To Convert a String to a datetime or time Object in Python | DigitalOcean www.di..

https://blog.naver.com/alice_k106/221333208746 143. [Ansible] Ansible (앤서블) 개념, 사용 환경 구성, 기초 사용법 정리 이번 포스트에서는 Ansible(이하 앤서블)의 환경 구성, 기초 사용법에 대해서 다룬다. 1. 들어가기 전. 앤... blog.naver.com

JAVA_HOME=/usr/lib/jvm/java-11-amazon-corretto.x86_64 && spark-submit ... https://brocess.tistory.com/176 [ Spark ] 스파크 jdk버전 바꿔서 실행하기 현상황 : Cloudera(클라우데라) 버전(CDH 5.5.1, Parcel), Spark버전(1.5) - jdk version 1.7필요상황 : 기존 작업을 Spark1.5(jdk1.7) - jdk 1.8로 돌리기준비상황 : 클러스터의 각 노드들에 jdk1.8이 설치되어 있어야 함. brocess.tistory.com

https://stackoverflow.com/questions/28114352/java-lang-illegalargumentexception-illegal-character-in-scheme-at-index-0-loca java.lang.IllegalArgumentException: Illegal character in scheme at index 0: localhost I'am developping an android app that receive an data from server (localhost - mssql and nodejs), save data and then display it after receiving the server response I get this error I follow..

aws emr create-cluster \ --instance-type m3.xlarge \ --release-label emr-5.10.0 \ --service-role EMR_DefaultRole \ --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \ --security-configuration mySecurityConfiguration \ --kerberos-attributes Realm=EC2.INTERNAL,KdcAdminPassword=123,CrossRealmTrustPrincipalPassword=123 https://docs.aws.amazon.com/cli/latest/reference/emr/create-cluster.html creat..

생각보다 자세하지 않음. MLOps 기본 개념을 학습하기 좋은듯. 얇은책으로 읽기 좋음.

def read(filename): with open(filename) as file: lines = [line.rstrip() for line in file] return"\n".join(lines) https://stackoverflow.com/questions/3277503/how-to-read-a-file-line-by-line-into-a-list

yarn logs -applicationId application_1652259389202_0189 https://velog.io/@makengi/Sqoop-Sqoop-Export-Error-%ED%95%B4%EA%B2%B0%ED%95%98%EA%B8%B0 [Sqoop] Sqoop Export Error 해결하기 applicationId = application_1652259389202_0189추가 옵션은 --input-null-string과 --input-null-non-string이 있으며 전체적인 커맨드를 보면 다음 아래와 같이 작성됨 velog.io

https://pizzathief.oopy.io/spark-logical-and-physical-plan#818b5f66-e4e1-4fb9-b4c3-872013209f12 스파크는 내 코드를 어떻게 실행할까? (Logical Plan과 Physical Plan) 스파크의 구조적 API의 실행 계획에 대해 알아봅니다. (Logical Plan & Phsyical Plan) pizzathief.oopy.io https://johnie-yeo.github.io/hello/back-end/2020/04/20/Spark%EB%8F%99%EC%9E%91%EB%8B%A8%EA%B3%84.html Johnie's Tech blog|Spark의 동작 단계 20 Apr 2020 Spark의 동작 단계 Understandi..

https://eyeballs.tistory.com/251

INSERT OVERWRITE TABLE table.target PARTITION (dt) SELECT ..., dt FROM temp LIMIT 999999999 https://docs.databricks.com/sql/language-manual/sql-ref-syntax-qry-select-limit.html LIMIT clause | Databricks on AWS docs.databricks.com

https://blog.mailplug.com/1058 [아웃룩 사용법] 아웃룩 메일 자동분류 기능 사용하는 방법! 안녕하세요. 메일플러그입니다. 오늘은 아웃룩을 더 편리하게 사용하실 수 있는 자동분류 기능을 소개해드리려고 하는데요. 광고메일은 광고메일함에 거래처A메일은 거래처A메일함에, 스스로 blog.mailplug.com

https://dlgldgldgld.github.io/airflow/Airflow_How_To_Find_DAG/ [Airflow] - Airflow에서 DAG을 인식하는 방식 Airflow를 처음 사용할 때 DAG파일을 작성해도 인식이 안되는 문제를 종종 접하곤 했다. dlgldgldgld.github.io airflow, dag dag global variables

from config import TABLEAU import tableauserverclient as TSC auth = TSC.PersonalAccessTokenAuth( TABLEAU["TOKEN_NAME"], TABLEAU["TOKEN_VALUE"], ) server = TSC.Server( TABLEAU["SERVER_URL"], use_server_version=True ) server.auth.sign_in(auth) list, _ = server.webhooks.get() for i in list: server.webhooks.delete(i.id) print(f"Webhook deleted; {i.name}: {i.id}") map = { # "test": "https://webhook.s..

Ctrl + b page up Ctrl + f page down Ctrl + u page up (1/2) Ctrl + d page down (1/2) https://getto215.tistory.com/10 유용한 vi, vim 명령어 정리 유용한 vi, vim 명령어 정리 ● 기본 기능:w 파일 저장하기:q 종료하기h, j, k, l 커서 이동x, dd, J 삭제yy 복사p 붙이기u 명령 취소v 범위 지정 ● 터미널 단축키Ctrl + i: 탭Ctrl + c: 현재 작업 강제 종료Ctrl getto215.tistory.com

https://www.daleseo.com/python-random/ 파이썬의 random 모듈로 무작위 데이터 다루기 Engineering Blog by Dale Seo www.daleseo.com >>> random.randrange(0, 101, 2) # Even integer from 0 to 100

Lifecycle rule 에 의해 만료된 object 를 삭제하는 작업의 트리거는 자정 00:00 (UTC)에 수행됩니다. Expire Date + alpha 로 자정이 되었을때, rule이 평가되고 object를 flag 하여 queue 에 넣고 삭제를 시작하게 됩니다. 비동기로 진행되므로 object 의 건수나 사이즈에 따라 실제 삭제가 완료되는 시점은 조금 delay 될 수 있습니다. 따라서 life cycle rule 이 제대로 수행되는지 확인하기 위해 여분의 시간이 필요합니다. 일반적으로 +48 시간 이내에는 완료 될 겁니다. lifecycle template a/b/c/__30 (.*)__(.*) { "ID": "$1__$2", "Filter": { "Prefix": "$1" }, "Stat..

S3=s3://bucket/asdf/ BUCKET=`echo ${S3} | egrep -o 's3://[^/]*' | sed -e s/s3:\\\\/\\\\///g` KEY=`echo ${S3} | sed -e s/s3:\\\\/\\\\/${BUCKET}\\\\///g` aws s3api put-object --bucket ${BUCKET} --key ${KEY} https://stackoverflow.com/questions/36837975/how-to-create-folder-on-s3-from-ec2-instance How to create folder on S3 from Ec2 instance I want to create folder in S3 bucket from Ec2 instacne . I..

aws s3api list-buckets --query "Buckets[].Name" | jq -r ".[]" | while read bucket ; do echo ${bucket} done https://docs.aws.amazon.com/cli/latest/reference/s3api/list-buckets.html list-buckets — AWS CLI 1.27.45 Command Reference Note: You are viewing the documentation for an older major version of the AWS CLI (version 1). AWS CLI version 2, the latest major version of AWS CLI, is now stable and ..

import boto3 from botocore.config import Config import random from airflow.providers.amazon.aws.sensors.emr_step import EmrStepSensor _POKE_INTERVAL = 60 _RANDOM = {"START": 1, "END": 60, "INTERVAL": 1} _MAX_ATTEMPTS = 15 class DefaultEmrStepSensor(EmrStepSensor): def __init__( self, poke_interval=None, **kwargs, ): poke_interval = poke_interval or _POKE_INTERVAL + random.randrange( _RANDOM["STA..