가비로그

alias gbrd='git co main && git pull && git branch | egrep -v "(main|master|release)" | xargs git branch -D' alias gbrdr='git co release && git pull origin release && git pull origin main && git branch | egrep -v "(main|master|release)" | xargs git branch -D' git branch | egrep -v "(main|master|release)" | xargs git branch -D https://www.theserverside.com/blog/Coffee-Talk-Java-News-Stories-and-Op..

SHOW CREATE TABLE db.table AS SERDE; -- LOCATION ... (only external table) DESCRIBE FORMATTED db.table; -- Location https://stackoverflow.com/questions/68562219/error-in-performing-show-create-table-opencsv-serde-hive-table-in-databricks Error in performing 'show create table' OpenCSV Serde Hive Table in Databricks I have created a table with OpenCSV Serde in Databricks below DDL :- CREATE TABLE..

class S3( var bucketName: String? = null, var key: String? = null, val accessKey: String? = null, val secretKey: String? = null, val region: String? = null ) fun delete( s3: S3, keyword: String = "", ) { with(s3) { val client = client(accessKey, secretKey, region) var objects = client.listObjects(bucketName, key) while (true) { for (i in objects.objectSummaries) { if (!i.key.contains(keyword)) {..

localhost -> 127.0.0.1 https://mingg123.tistory.com/129 [MongoDB]MongooseServerSelectionError: connect ECONNREFUSED ::1:27017 에러 해결 require('dotenv').config(); const Koa = require('koa'); const Router = require('koa-router'); const bodyParser = require('koa-bodyparser'); const mongoose = require('mongoose'); const { PORT, MONGO_URI } = process.env; mongoose .connect(MONGO_URI, { useNew mingg123...

sudo rm -rf /var/lib/apt/lists sudo apt-get update sudo apt-get install -y build-essential sudo apt-get install curl curl -sL https://deb.nodesource.com/setup_10.x | sudo -E bash -- sudo apt-get install -y node.js node -v npm -v npm install -g yarn yarn -v npm install -g n n stable https://velog.io/@jjhstoday/Node.js-Node.js%EC%99%80-NPM-%EC%B5%9C%EC%8B%A0%EB%B2%84%EC%A0%84%EC%9C%BC%EB%A1%9C-%EC..

sudo rm -rf /var/lib/apt/lists/* sudo apt-get update https://class-programming.tistory.com/16 Unable to fetch some archives, maybe run apt-get update or try with --fix-missing /etc/apt/sources.list 에서 확인해보니 서버가 죽어있었음. 서버를 변경해줘도 되지만 그냥 apt.lists 를 다 지웠다 업뎃함 Try removing content of /var/lib/apt/lists directory: sudo rm -rf /var/lib/apt/lists/* then run this: s class-programming.tistory.com

make spark context! https://stackoverflow.com/questions/51922910/error-user-did-not-initialize-spark-context ERROR : User did not initialize spark context Log error : TestSuccessfull 2018-08-20 04:52:15 INFO ApplicationMaster:54 - Final app status: FAILED, exitCode: 13 2018-08-20 04:52:15 ERROR ApplicationMaster:91 - Uncaught exception: j... stackoverflow.com

def args_function(**kwargs): c = boto3.Session().get_credentials() p = kwargs["params"] return [c.access_key, c.secret_key, "ap-northeast-2", p["s3"], p["keyword"]] https://it-sunny-333.tistory.com/159 [Airflow] python 함수 호출시 argument 넘기기 간단한 Airflow DAG를 살펴보자. extract라는 파이썬 함수를 호출하는 task 1개로 이루어져 있다. extract 함수를 호출할 때 argument를 같이 전달해야 한다. 그러면 Airflow DAG에서 python 함수를 호출할 때 어 it-sunny-333.tisto..

https://stackoverflow.com/questions/29377853/how-to-use-environment-variables-in-docker-compose How to use environment variables in docker-compose? I would like to be able to use env variables inside docker-compose.yml, with values passed in at the time of docker-compose up. This is the example. I am doing this today with basic docker run comm... stackoverflow.com

def args_function(**kwargs): c = boto3.Session().get_credentials() p = kwargs["params"] return [c.access_key, c.secret_key, "ap-northeast-2", p["s3"], p["keyword"]] https://stackoverflow.com/questions/41270571/is-there-a-way-to-get-access-key-and-secret-key-from-boto3 Is there a way to get access_key and secret_key from boto3? When I launch an EC2 instance with an IAM role I can use boto3 on tha..

root@seunggabi-88918:/usr/local/lib# yarn bash: /usr/local/bin/yarn: No such file or directory root@seunggabi-88918:/usr/local/lib# hash -r root@seunggabi-88918:/usr/local/lib# yarn yarn install v1.22.19 info No lockfile found. [1/4] Resolving packages... [2/4] Fetching packages... [3/4] Linking dependencies... [4/4] Building fresh packages... success Saved lockfile. Done in 0.26s. https://serve..

https://stackoverflow.com/questions/37088679/kotlin-regex-named-groups-support/75214786#75214786 Kotlin Regex named groups support Does Kotlin have support for named regex groups? Named regex group looks like this: (?...) stackoverflow.com fun regex(regex: Regex, input: String, group: String): String { return regex .matchEntire(input)!! .groups[group]!! .value } @Test fun regex() { // given val ..

https://codechacha.com/ko/python-difference-between-args-kwargs/ Python - '*args'와 '**kwargs'의 차이점 파이썬에서 `*args`(arguments)는 함수에서 여러개의 인자, n개를 받을 때 사용합니다. 정해지지 않은 n개의 인자를 받고 싶을 때, 다음과 같이 `*args`를 사용할 수 있습니다. `**kwargs`(keyword arguments)는 codechacha.com

https://intellij-support.jetbrains.com/hc/en-us/community/posts/206230739-Refreshing-environment-variables

해결 방법 "_ $ folder $" 파일은 자리 표시자입니다. -mkdir 명령을 사용하여 S3 버킷에 폴더를 생성하면 Apache 하둡이 이러한 파일을 생성합니다. 하둡은 첫 번째 객체를 PUT할 때까지 폴더를 생성하지 않습니다. 하나 이상의 객체를 PUT하기 전에 "_ $ folder $" 파일을 삭제하면 하둡이 폴더를 생성할 수 없습니다. 그러면 "해당 파일이나 디렉터리가 없음(No such file or directory)" 오류가 발생합니다. 일반적으로 "_$folder$" 파일을 삭제하지 않는 것이 좋습니다. 그러면 Amazon EMR 작업의 성능 문제가 발생할 수 있습니다. 단, Amazon S3에서 폴더를 수동으로 삭제한 다음 Amazon EMR 작업에서 또는 하둡 명령을 사용하여 폴더를..

버킷 이름 지정 규칙 PDFRSS Amazon S3의 버킷 이름 지정에는 다음 규칙이 적용됩니다. 버킷 이름은 3자(최소)에서 63자(최대) 사이여야 합니다. 버킷 이름은 소문자, 숫자, 점(.) 및 하이픈(-)으로만 구성될 수 있습니다. 버킷 이름은 문자 또는 숫자로 시작하고 끝나야 합니다. 버킷 이름에 두 마침표를 나란히 붙여 사용하면 안 됩니다. 버킷 이름은 IP 주소 형식(예: 192.168.5.4)을 사용하지 않습니다. 버킷 이름은 접두사 xn--로 시작해서는 안됩니다. 버킷 이름은 접미사 -s3alias로 끝나서는 안됩니다. 이 접미사는 액세스 포인트 별칭 이름 용도로 예약되어 있습니다. 자세한 정보는 S3 버킷 액세스 지점에 버킷 스타일 별칭 사용을 참조하십시오. 버킷 이름은 파티션 내 모든..