가비로그

docker build -t seunggabi-config:latest -f seunggabi-config/Dockerfile . docker stop seunggabi-config docker rm seunggabi-config docker run -i -t \ --name seunggabi-config \ --env PROFILE=dev \ --env CONTEXT=seunggabi \ --env DB_HOST=jdbc:mysql://host.docker.internal:3306/seunggabi_config \ --env DB_USER=admin \ --env DB_PASSWORD=admin \ -p 80:80 \ seunggabi-config:latest https://velog.io/@kshir..

https://stackoverflow.com/questions/45271532/in-airflow-is-there-a-good-way-to-call-another-dags-task In airflow, is there a good way to call another dag's task? I've got dag_prime and dag_tertiary. dag_prime: Scans through a directory and intends to call dag_tertiary on each one. Currently a PythonOperator. dag_tertiary: Scans through the directory p... stackoverflow.com

https://stackoverflow.com/questions/54598163/airflow-task-failure-retry-workflow Airflow Task failure/retry workflow I have retry logic for tasks and it's not clear how Airflow handles task failures when retries are turned on. Their documentation just states that on_failure_callback gets triggered when a task fa... stackoverflow.com https://github.com/apache/airflow/discussions/29201 [failover] ..

https://lemontia.tistory.com/1062 [log4j] SLF4J: Class path contains multiple SLF4J bindings. 에러 log4j2 를 버전업 하는데 다음의 문제가 발생한다. build.gradle (Gradle로 설정) ... implementation group: 'org.apache.logging.log4j', name: 'log4j-core', version: "2.17.1" implementation group: 'org.apache.logging.log4j', name: 'log4j-api' lemontia.tistory.com

https://seamless.tistory.com/101 Spark에서 groupByKey 대신 reduceByKey 사용하기 이번 포스트에서는 스파크에서 빈번히 사용되는 transformation인 reduceByKey와 groupByKey의 동작에 대해 살펴보겠습니다. 먼저 스파크에서 reduceByKey와 groupByKey를 사용하여 단어 세기 예제를 작성해보도 seamless.tistory.com

message = "" if len(l) > 0: title = TableauService._title(TABLEAU["SERVER_URL"], l[0]["view"]) link = "".join([f"" for x in l]) message = title + "\n" + link slack_util.chat( slack_token, slack_channel, message ) ### permission - read: links - write: links https://ndjman7.github.io/2021/01/17/slack-bot-upload-multiple-files/ Slack Bot으로 파일 여러 개 업로드 하기 - Pando's Blog Slack Bot으로 파일 여러 개 업로드하기 ndj..

https://www.toptal.com/developers/keycode JavaScript Key Code Event Tool | Toptal® KeyCode.Info allows users to press any key and instantly get the JavaScript Key or Key Code KeyboardEvent. Check out the Tool and Event List. www.toptal.com

SHOW CREATE TABLE db.table AS SERDE https://stackoverflow.com/questions/68562219/error-in-performing-show-create-table-opencsv-serde-hive-table-in-databricks/69184738#69184738 Error in performing 'show create table' OpenCSV Serde Hive Table in Databricks I have created a table with OpenCSV Serde in Databricks below DDL :- CREATE TABLE db_name.table_name( col1 String, col2 String) ROW FORMAT SERD..

- pipe: atlassian/aws-s3-deploy:1.1.0 variables: AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY_ID} AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_ACCESS_KEY} AWS_DEFAULT_REGION: ${AWS_DEFAULT_REGION} S3_BUCKET: bucket_name/a/b/c/d LOCAL_PATH: bucket_name/a/b/c/d DELETE_FLAG: 'true' EXTRA_ARGS: '--exclude=e/* --exclude=e/f/*' https://stackoverflow.com/questions/32393026/exclude-multiple-folders-using-aws-s3-sync Excl..

for word in "$@"; do echo $word; done https://stackoverflow.com/questions/12314451/accessing-bash-command-line-args-vs Accessing bash command line args $@ vs $* In many SO questions and bash tutorials I see that I can access command line args in bash scripts in two ways: $ ~ >cat testargs.sh #!/bin/bash echo "you passed me" $* echo "you passed me" $@ stackoverflow.com

[*.{kt,kts}] disabled_rules = import-ordering https://stackoverflow.com/questions/60829868/android-studio-does-not-rearrange-import-in-lexicographic-order Android Studio does not rearrange import in lexicographic order Given the following imports import javax.inject.Inject import kotlinx.android.synthetic.main.fragment.* Android Studio rearrange to the following when pressing control + option + ..

https://magpienote.tistory.com/255 Hive 테이블 문제점 및 대체제 알아보기 Hudi vs Iceberge vs delta lake 이해하고 비교해보기 이전 글에서 HQL을 사용해보았고 Compaction에 대해 포스팅을 할려고 했으나 compaction 시 에로사항이 많아서 포스팅을 하지 못한다고 판단하였고 대신에, hive 테이블의 문제점과 대체제에 대해 알아 magpienote.tistory.com https://www.onehouse.ai/blog/apache-hudi-vs-delta-lake-vs-apache-iceberg-lakehouse-feature-comparison Apache Hudi vs Delta Lake vs Apache Iceberg - Lakeho..

alias gbrd='git co main && git pull && git branch | egrep -v "(main|master|release)" | xargs git branch -D' alias gbrdr='git co release && git pull origin release && git pull origin main && git branch | egrep -v "(main|master|release)" | xargs git branch -D' git branch | egrep -v "(main|master|release)" | xargs git branch -D https://www.theserverside.com/blog/Coffee-Talk-Java-News-Stories-and-Op..

SHOW CREATE TABLE db.table AS SERDE; -- LOCATION ... (only external table) DESCRIBE FORMATTED db.table; -- Location https://stackoverflow.com/questions/68562219/error-in-performing-show-create-table-opencsv-serde-hive-table-in-databricks Error in performing 'show create table' OpenCSV Serde Hive Table in Databricks I have created a table with OpenCSV Serde in Databricks below DDL :- CREATE TABLE..

class S3( var bucketName: String? = null, var key: String? = null, val accessKey: String? = null, val secretKey: String? = null, val region: String? = null ) fun delete( s3: S3, keyword: String = "", ) { with(s3) { val client = client(accessKey, secretKey, region) var objects = client.listObjects(bucketName, key) while (true) { for (i in objects.objectSummaries) { if (!i.key.contains(keyword)) {..

localhost -> 127.0.0.1 https://mingg123.tistory.com/129 [MongoDB]MongooseServerSelectionError: connect ECONNREFUSED ::1:27017 에러 해결 require('dotenv').config(); const Koa = require('koa'); const Router = require('koa-router'); const bodyParser = require('koa-bodyparser'); const mongoose = require('mongoose'); const { PORT, MONGO_URI } = process.env; mongoose .connect(MONGO_URI, { useNew mingg123...

sudo rm -rf /var/lib/apt/lists sudo apt-get update sudo apt-get install -y build-essential sudo apt-get install curl curl -sL https://deb.nodesource.com/setup_10.x | sudo -E bash -- sudo apt-get install -y node.js node -v npm -v npm install -g yarn yarn -v npm install -g n n stable https://velog.io/@jjhstoday/Node.js-Node.js%EC%99%80-NPM-%EC%B5%9C%EC%8B%A0%EB%B2%84%EC%A0%84%EC%9C%BC%EB%A1%9C-%EC..

sudo rm -rf /var/lib/apt/lists/* sudo apt-get update https://class-programming.tistory.com/16 Unable to fetch some archives, maybe run apt-get update or try with --fix-missing /etc/apt/sources.list 에서 확인해보니 서버가 죽어있었음. 서버를 변경해줘도 되지만 그냥 apt.lists 를 다 지웠다 업뎃함 Try removing content of /var/lib/apt/lists directory: sudo rm -rf /var/lib/apt/lists/* then run this: s class-programming.tistory.com

make spark context! https://stackoverflow.com/questions/51922910/error-user-did-not-initialize-spark-context ERROR : User did not initialize spark context Log error : TestSuccessfull 2018-08-20 04:52:15 INFO ApplicationMaster:54 - Final app status: FAILED, exitCode: 13 2018-08-20 04:52:15 ERROR ApplicationMaster:91 - Uncaught exception: j... stackoverflow.com

def args_function(**kwargs): c = boto3.Session().get_credentials() p = kwargs["params"] return [c.access_key, c.secret_key, "ap-northeast-2", p["s3"], p["keyword"]] https://it-sunny-333.tistory.com/159 [Airflow] python 함수 호출시 argument 넘기기 간단한 Airflow DAG를 살펴보자. extract라는 파이썬 함수를 호출하는 task 1개로 이루어져 있다. extract 함수를 호출할 때 argument를 같이 전달해야 한다. 그러면 Airflow DAG에서 python 함수를 호출할 때 어 it-sunny-333.tisto..

https://stackoverflow.com/questions/29377853/how-to-use-environment-variables-in-docker-compose How to use environment variables in docker-compose? I would like to be able to use env variables inside docker-compose.yml, with values passed in at the time of docker-compose up. This is the example. I am doing this today with basic docker run comm... stackoverflow.com

def args_function(**kwargs): c = boto3.Session().get_credentials() p = kwargs["params"] return [c.access_key, c.secret_key, "ap-northeast-2", p["s3"], p["keyword"]] https://stackoverflow.com/questions/41270571/is-there-a-way-to-get-access-key-and-secret-key-from-boto3 Is there a way to get access_key and secret_key from boto3? When I launch an EC2 instance with an IAM role I can use boto3 on tha..

root@seunggabi-88918:/usr/local/lib# yarn bash: /usr/local/bin/yarn: No such file or directory root@seunggabi-88918:/usr/local/lib# hash -r root@seunggabi-88918:/usr/local/lib# yarn yarn install v1.22.19 info No lockfile found. [1/4] Resolving packages... [2/4] Fetching packages... [3/4] Linking dependencies... [4/4] Building fresh packages... success Saved lockfile. Done in 0.26s. https://serve..

https://stackoverflow.com/questions/37088679/kotlin-regex-named-groups-support/75214786#75214786 Kotlin Regex named groups support Does Kotlin have support for named regex groups? Named regex group looks like this: (?...) stackoverflow.com fun regex(regex: Regex, input: String, group: String): String { return regex .matchEntire(input)!! .groups[group]!! .value } @Test fun regex() { // given val ..

https://codechacha.com/ko/python-difference-between-args-kwargs/ Python - '*args'와 '**kwargs'의 차이점 파이썬에서 `*args`(arguments)는 함수에서 여러개의 인자, n개를 받을 때 사용합니다. 정해지지 않은 n개의 인자를 받고 싶을 때, 다음과 같이 `*args`를 사용할 수 있습니다. `**kwargs`(keyword arguments)는 codechacha.com

https://intellij-support.jetbrains.com/hc/en-us/community/posts/206230739-Refreshing-environment-variables

해결 방법 "_ $ folder $" 파일은 자리 표시자입니다. -mkdir 명령을 사용하여 S3 버킷에 폴더를 생성하면 Apache 하둡이 이러한 파일을 생성합니다. 하둡은 첫 번째 객체를 PUT할 때까지 폴더를 생성하지 않습니다. 하나 이상의 객체를 PUT하기 전에 "_ $ folder $" 파일을 삭제하면 하둡이 폴더를 생성할 수 없습니다. 그러면 "해당 파일이나 디렉터리가 없음(No such file or directory)" 오류가 발생합니다. 일반적으로 "_$folder$" 파일을 삭제하지 않는 것이 좋습니다. 그러면 Amazon EMR 작업의 성능 문제가 발생할 수 있습니다. 단, Amazon S3에서 폴더를 수동으로 삭제한 다음 Amazon EMR 작업에서 또는 하둡 명령을 사용하여 폴더를..

버킷 이름 지정 규칙 PDFRSS Amazon S3의 버킷 이름 지정에는 다음 규칙이 적용됩니다. 버킷 이름은 3자(최소)에서 63자(최대) 사이여야 합니다. 버킷 이름은 소문자, 숫자, 점(.) 및 하이픈(-)으로만 구성될 수 있습니다. 버킷 이름은 문자 또는 숫자로 시작하고 끝나야 합니다. 버킷 이름에 두 마침표를 나란히 붙여 사용하면 안 됩니다. 버킷 이름은 IP 주소 형식(예: 192.168.5.4)을 사용하지 않습니다. 버킷 이름은 접두사 xn--로 시작해서는 안됩니다. 버킷 이름은 접미사 -s3alias로 끝나서는 안됩니다. 이 접미사는 액세스 포인트 별칭 이름 용도로 예약되어 있습니다. 자세한 정보는 S3 버킷 액세스 지점에 버킷 스타일 별칭 사용을 참조하십시오. 버킷 이름은 파티션 내 모든..

spark.hadoop.hive.exec.stagingdir: s3://temp/.hive-staging https://vanducng.dev/2020/12/05/Compact-multiple-small-files-on-HDFS/ Compact multiple small files on HDFS Hadoop can handle with very big file size, but will encounter performance issue with too many files with small size. The reason is explained in detailed from here. In short, every single on a data n vanducng.dev

https://swalloow.github.io/airflow-multi-tenent-1/ 여러 조직이 함께 사용하는 Airflow 만들기 사내 데이터가 다양해지고 사용자가 많아지면 접근 제어와 권한 등 다양한 고민이 생기게 됩니다. 이 글에서는 여러 조직이 함께 사용하는 Airflow를 만들 때 알아두면 좋은 내용들에 대해 정리해 swalloow.github.io