배우기를 멈추는 사람은 20세건 80세건 늙은 것이다.

sudo rm -rf /var/lib/apt/lists/* sudo apt-get update https://class-programming.tistory.com/16 Unable to fetch some archives, maybe run apt-get update or try with --fix-missing /etc/apt/sources.list 에서 확인해보니 서버가 죽어있었음. 서버를 변경해줘도 되지만 그냥 apt.lists 를 다 지웠다 업뎃함 Try removing content of /var/lib/apt/lists directory: sudo rm -rf /var/lib/apt/lists/* then run this: s class-programming.tistory.com

make spark context! https://stackoverflow.com/questions/51922910/error-user-did-not-initialize-spark-context ERROR : User did not initialize spark context Log error : TestSuccessfull 2018-08-20 04:52:15 INFO ApplicationMaster:54 - Final app status: FAILED, exitCode: 13 2018-08-20 04:52:15 ERROR ApplicationMaster:91 - Uncaught exception: j... stackoverflow.com

def args_function(**kwargs): c = boto3.Session().get_credentials() p = kwargs["params"] return [c.access_key, c.secret_key, "ap-northeast-2", p["s3"], p["keyword"]] https://it-sunny-333.tistory.com/159 [Airflow] python 함수 호출시 argument 넘기기 간단한 Airflow DAG를 살펴보자. extract라는 파이썬 함수를 호출하는 task 1개로 이루어져 있다. extract 함수를 호출할 때 argument를 같이 전달해야 한다. 그러면 Airflow DAG에서 python 함수를 호출할 때 어 it-sunny-333.tisto..

https://stackoverflow.com/questions/29377853/how-to-use-environment-variables-in-docker-compose How to use environment variables in docker-compose? I would like to be able to use env variables inside docker-compose.yml, with values passed in at the time of docker-compose up. This is the example. I am doing this today with basic docker run comm... stackoverflow.com

def args_function(**kwargs): c = boto3.Session().get_credentials() p = kwargs["params"] return [c.access_key, c.secret_key, "ap-northeast-2", p["s3"], p["keyword"]] https://stackoverflow.com/questions/41270571/is-there-a-way-to-get-access-key-and-secret-key-from-boto3 Is there a way to get access_key and secret_key from boto3? When I launch an EC2 instance with an IAM role I can use boto3 on tha..

root@seunggabi-88918:/usr/local/lib# yarn bash: /usr/local/bin/yarn: No such file or directory root@seunggabi-88918:/usr/local/lib# hash -r root@seunggabi-88918:/usr/local/lib# yarn yarn install v1.22.19 info No lockfile found. [1/4] Resolving packages... [2/4] Fetching packages... [3/4] Linking dependencies... [4/4] Building fresh packages... success Saved lockfile. Done in 0.26s. https://serve..

https://stackoverflow.com/questions/37088679/kotlin-regex-named-groups-support/75214786#75214786 Kotlin Regex named groups support Does Kotlin have support for named regex groups? Named regex group looks like this: (?...) stackoverflow.com fun regex(regex: Regex, input: String, group: String): String { return regex .matchEntire(input)!! .groups[group]!! .value } @Test fun regex() { // given val ..

https://codechacha.com/ko/python-difference-between-args-kwargs/ Python - '*args'와 '**kwargs'의 차이점 파이썬에서 `*args`(arguments)는 함수에서 여러개의 인자, n개를 받을 때 사용합니다. 정해지지 않은 n개의 인자를 받고 싶을 때, 다음과 같이 `*args`를 사용할 수 있습니다. `**kwargs`(keyword arguments)는 codechacha.com

https://intellij-support.jetbrains.com/hc/en-us/community/posts/206230739-Refreshing-environment-variables

해결 방법 "_ $ folder $" 파일은 자리 표시자입니다. -mkdir 명령을 사용하여 S3 버킷에 폴더를 생성하면 Apache 하둡이 이러한 파일을 생성합니다. 하둡은 첫 번째 객체를 PUT할 때까지 폴더를 생성하지 않습니다. 하나 이상의 객체를 PUT하기 전에 "_ $ folder $" 파일을 삭제하면 하둡이 폴더를 생성할 수 없습니다. 그러면 "해당 파일이나 디렉터리가 없음(No such file or directory)" 오류가 발생합니다. 일반적으로 "_$folder$" 파일을 삭제하지 않는 것이 좋습니다. 그러면 Amazon EMR 작업의 성능 문제가 발생할 수 있습니다. 단, Amazon S3에서 폴더를 수동으로 삭제한 다음 Amazon EMR 작업에서 또는 하둡 명령을 사용하여 폴더를..

버킷 이름 지정 규칙 PDFRSS Amazon S3의 버킷 이름 지정에는 다음 규칙이 적용됩니다. 버킷 이름은 3자(최소)에서 63자(최대) 사이여야 합니다. 버킷 이름은 소문자, 숫자, 점(.) 및 하이픈(-)으로만 구성될 수 있습니다. 버킷 이름은 문자 또는 숫자로 시작하고 끝나야 합니다. 버킷 이름에 두 마침표를 나란히 붙여 사용하면 안 됩니다. 버킷 이름은 IP 주소 형식(예: 192.168.5.4)을 사용하지 않습니다. 버킷 이름은 접두사 xn--로 시작해서는 안됩니다. 버킷 이름은 접미사 -s3alias로 끝나서는 안됩니다. 이 접미사는 액세스 포인트 별칭 이름 용도로 예약되어 있습니다. 자세한 정보는 S3 버킷 액세스 지점에 버킷 스타일 별칭 사용을 참조하십시오. 버킷 이름은 파티션 내 모든..

spark.hadoop.hive.exec.stagingdir: s3://temp/.hive-staging https://vanducng.dev/2020/12/05/Compact-multiple-small-files-on-HDFS/ Compact multiple small files on HDFS Hadoop can handle with very big file size, but will encounter performance issue with too many files with small size. The reason is explained in detailed from here. In short, every single on a data n vanducng.dev

https://swalloow.github.io/airflow-multi-tenent-1/ 여러 조직이 함께 사용하는 Airflow 만들기 사내 데이터가 다양해지고 사용자가 많아지면 접근 제어와 권한 등 다양한 고민이 생기게 됩니다. 이 글에서는 여러 조직이 함께 사용하는 Airflow를 만들 때 알아두면 좋은 내용들에 대해 정리해 swalloow.github.io

https://developer.mozilla.org/en-US/docs/Mozilla/Add-ons/WebExtensions/API/tabs/executeScript tabs.executeScript() - Mozilla | MDN Injects JavaScript code into a page. developer.mozilla.org

https://bitbucket.org/blog/cloning-another-bitbucket-repository-in-bitbucket-pipelines Cloning another Bitbucket repository in Bitbucket Pipelines - Bitbucket This post was written by Bitbucket user Ayush Sharma. I recently had a use-case where I wanted to clone another Bitbucket… bitbucket.org

org.springframework.beans.MethodInvocationException: Property 'cronExpression' threw exception; nested exception is java.text.ParseException: Support for specifying both a day-of-week AND a day-of-month parameter is not implemented. val cron = CronExpression( "0 " + expr.replace( Regex("\\*$"), "?" ) ) https://niees.tistory.com/67 org.springframework.beans.MethodInvocationException: Property 'cr..

https://stackoverflow.com/questions/68717837/how-to-store-json-in-a-single-column-of-a-csv-file How to store Json in a single column of a CSV file Assuming i have this Json: {"firstName":"myName","lastName":"lName"} is there anyway to store it as a value of a single CSV column. (some sort of escaping?) stackoverflow.com

import croniter from datetime import datetime s = "2022-09-19 00:00:00" d = datetime.strptime(s, '%Y-%m-%d %H:%M:%S') print(d) cron = croniter.croniter("* * * * *", d) print(cron.get_prev(datetime)) print(cron.get_next(datetime)) https://www.digitalocean.com/community/tutorials/python-string-to-datetime-strptime How To Convert a String to a datetime or time Object in Python | DigitalOcean www.di..

https://blog.naver.com/alice_k106/221333208746 143. [Ansible] Ansible (앤서블) 개념, 사용 환경 구성, 기초 사용법 정리 이번 포스트에서는 Ansible(이하 앤서블)의 환경 구성, 기초 사용법에 대해서 다룬다. 1. 들어가기 전. 앤... blog.naver.com