배우기를 멈추는 사람은 20세건 80세건 늙은 것이다.

JAVA_HOME=/usr/lib/jvm/java-11-amazon-corretto.x86_64 && spark-submit ... https://brocess.tistory.com/176 [ Spark ] 스파크 jdk버전 바꿔서 실행하기 현상황 : Cloudera(클라우데라) 버전(CDH 5.5.1, Parcel), Spark버전(1.5) - jdk version 1.7필요상황 : 기존 작업을 Spark1.5(jdk1.7) - jdk 1.8로 돌리기준비상황 : 클러스터의 각 노드들에 jdk1.8이 설치되어 있어야 함. brocess.tistory.com

https://stackoverflow.com/questions/28114352/java-lang-illegalargumentexception-illegal-character-in-scheme-at-index-0-loca java.lang.IllegalArgumentException: Illegal character in scheme at index 0: localhost I'am developping an android app that receive an data from server (localhost - mssql and nodejs), save data and then display it after receiving the server response I get this error I follow..

aws emr create-cluster \ --instance-type m3.xlarge \ --release-label emr-5.10.0 \ --service-role EMR_DefaultRole \ --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \ --security-configuration mySecurityConfiguration \ --kerberos-attributes Realm=EC2.INTERNAL,KdcAdminPassword=123,CrossRealmTrustPrincipalPassword=123 https://docs.aws.amazon.com/cli/latest/reference/emr/create-cluster.html creat..

생각보다 자세하지 않음. MLOps 기본 개념을 학습하기 좋은듯. 얇은책으로 읽기 좋음.

def read(filename): with open(filename) as file: lines = [line.rstrip() for line in file] return"\n".join(lines) https://stackoverflow.com/questions/3277503/how-to-read-a-file-line-by-line-into-a-list

yarn logs -applicationId application_1652259389202_0189 https://velog.io/@makengi/Sqoop-Sqoop-Export-Error-%ED%95%B4%EA%B2%B0%ED%95%98%EA%B8%B0 [Sqoop] Sqoop Export Error 해결하기 applicationId = application_1652259389202_0189추가 옵션은 --input-null-string과 --input-null-non-string이 있으며 전체적인 커맨드를 보면 다음 아래와 같이 작성됨 velog.io

https://pizzathief.oopy.io/spark-logical-and-physical-plan#818b5f66-e4e1-4fb9-b4c3-872013209f12 스파크는 내 코드를 어떻게 실행할까? (Logical Plan과 Physical Plan) 스파크의 구조적 API의 실행 계획에 대해 알아봅니다. (Logical Plan & Phsyical Plan) pizzathief.oopy.io https://johnie-yeo.github.io/hello/back-end/2020/04/20/Spark%EB%8F%99%EC%9E%91%EB%8B%A8%EA%B3%84.html Johnie's Tech blog|Spark의 동작 단계 20 Apr 2020 Spark의 동작 단계 Understandi..

https://eyeballs.tistory.com/251

INSERT OVERWRITE TABLE table.target PARTITION (dt) SELECT ..., dt FROM temp LIMIT 999999999 https://docs.databricks.com/sql/language-manual/sql-ref-syntax-qry-select-limit.html LIMIT clause | Databricks on AWS docs.databricks.com

https://blog.mailplug.com/1058 [아웃룩 사용법] 아웃룩 메일 자동분류 기능 사용하는 방법! 안녕하세요. 메일플러그입니다. 오늘은 아웃룩을 더 편리하게 사용하실 수 있는 자동분류 기능을 소개해드리려고 하는데요. 광고메일은 광고메일함에 거래처A메일은 거래처A메일함에, 스스로 blog.mailplug.com

https://dlgldgldgld.github.io/airflow/Airflow_How_To_Find_DAG/ [Airflow] - Airflow에서 DAG을 인식하는 방식 Airflow를 처음 사용할 때 DAG파일을 작성해도 인식이 안되는 문제를 종종 접하곤 했다. dlgldgldgld.github.io airflow, dag dag global variables

from config import TABLEAU import tableauserverclient as TSC auth = TSC.PersonalAccessTokenAuth( TABLEAU["TOKEN_NAME"], TABLEAU["TOKEN_VALUE"], ) server = TSC.Server( TABLEAU["SERVER_URL"], use_server_version=True ) server.auth.sign_in(auth) list, _ = server.webhooks.get() for i in list: server.webhooks.delete(i.id) print(f"Webhook deleted; {i.name}: {i.id}") map = { # "test": "https://webhook.s..

Ctrl + b page up Ctrl + f page down Ctrl + u page up (1/2) Ctrl + d page down (1/2) https://getto215.tistory.com/10 유용한 vi, vim 명령어 정리 유용한 vi, vim 명령어 정리 ● 기본 기능:w 파일 저장하기:q 종료하기h, j, k, l 커서 이동x, dd, J 삭제yy 복사p 붙이기u 명령 취소v 범위 지정 ● 터미널 단축키Ctrl + i: 탭Ctrl + c: 현재 작업 강제 종료Ctrl getto215.tistory.com

https://www.daleseo.com/python-random/ 파이썬의 random 모듈로 무작위 데이터 다루기 Engineering Blog by Dale Seo www.daleseo.com >>> random.randrange(0, 101, 2) # Even integer from 0 to 100

Lifecycle rule 에 의해 만료된 object 를 삭제하는 작업의 트리거는 자정 00:00 (UTC)에 수행됩니다. Expire Date + alpha 로 자정이 되었을때, rule이 평가되고 object를 flag 하여 queue 에 넣고 삭제를 시작하게 됩니다. 비동기로 진행되므로 object 의 건수나 사이즈에 따라 실제 삭제가 완료되는 시점은 조금 delay 될 수 있습니다. 따라서 life cycle rule 이 제대로 수행되는지 확인하기 위해 여분의 시간이 필요합니다. 일반적으로 +48 시간 이내에는 완료 될 겁니다. lifecycle template a/b/c/__30 (.*)__(.*) { "ID": "$1__$2", "Filter": { "Prefix": "$1" }, "Stat..

S3=s3://bucket/asdf/ BUCKET=`echo ${S3} | egrep -o 's3://[^/]*' | sed -e s/s3:\\\\/\\\\///g` KEY=`echo ${S3} | sed -e s/s3:\\\\/\\\\/${BUCKET}\\\\///g` aws s3api put-object --bucket ${BUCKET} --key ${KEY} https://stackoverflow.com/questions/36837975/how-to-create-folder-on-s3-from-ec2-instance How to create folder on S3 from Ec2 instance I want to create folder in S3 bucket from Ec2 instacne . I..

aws s3api list-buckets --query "Buckets[].Name" | jq -r ".[]" | while read bucket ; do echo ${bucket} done https://docs.aws.amazon.com/cli/latest/reference/s3api/list-buckets.html list-buckets — AWS CLI 1.27.45 Command Reference Note: You are viewing the documentation for an older major version of the AWS CLI (version 1). AWS CLI version 2, the latest major version of AWS CLI, is now stable and ..

import boto3 from botocore.config import Config import random from airflow.providers.amazon.aws.sensors.emr_step import EmrStepSensor _POKE_INTERVAL = 60 _RANDOM = {"START": 1, "END": 60, "INTERVAL": 1} _MAX_ATTEMPTS = 15 class DefaultEmrStepSensor(EmrStepSensor): def __init__( self, poke_interval=None, **kwargs, ): poke_interval = poke_interval or _POKE_INTERVAL + random.randrange( _RANDOM["STA..

S3=s3://bucket/asdf/ aws s3 rm ${S3} --recursive BUCKET=`echo ${S3} | egrep -o 's3://[^/]*' | sed -e s/s3:\\\\/\\\\///g` PREFIX=`echo ${S3} | sed -e s/s3:\\\\/\\\\/${BUCKET}\\\\///g` aws s3api list-object-versions \ --bucket ${BUCKET} \ --prefix ${PREFIX} | jq -r '.Versions[] | .Key + " " + .VersionId' | while read key id ; do aws s3api delete-object \ --bucket ${BUCKET} \ --key ${key} \ --versi..