배우기를 멈추는 사람은 20세건 80세건 늙은 것이다.

- dataframe - dataset - sql - rdd - optimized plan - specialized code - explain - predicate push down - logical plan - physical plan - transformation - action - lazy evaluation - partition https://www.brainbackdoor.com/data/spark-concept Spark는 어떤 컨셉인가? 1. DataFrame www.brainbackdoor.com https://spidyweb.tistory.com/326 [spark] RDD vs DataFrame 큰 차이점, Dataframe을 사용해야 되는 이유, RDD를 사용해야 하는 경우는? RDD..

https://aws.amazon.com/ko/ec2/instance-types/ Amazon EC2 인스턴스 유형 – Amazon Web Services aws.amazon.com

helm upgrade --install https://github.com/helm/helm/issues/3134 helm install --replace fails with "cannot re-use a name that is still in use" · Issue #3134 · helm/helm Hi, I try to idempotently deploy a package with: helm install --replace --tiller-namespace=system --namespace=system -n somepackage (I use the system namespace, and tiller is deployed into it, so n... github.com

https://medium.com/knoldus/error-registering-avro-schema-multiple-schemas-in-one-topic-eca947014926 Error Registering Avro Schema | Multiple Schemas In One Topic You might have come across a similar exception while working with AVRO schemas. Kafka throws this exception due to a compatibility issue since the current schema is not compatible with the earlier… medium.com

https://hoestory.tistory.com/35 Spring boot + GitHub Action 적용 시 빌드 실패와 관련된 에러 해결 방법 들어가기 전 들어가기 전에 GitHub Action이 무엇인지에 대해 간략히 알아보겠습니다. GitHub Action을 자세히 대해서는 다루지 않고 개념만 간단히 설명하고 해결방법에 대해서 설명하겠습니다. GitHub hoestory.tistory.com

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=gkenq&logNo=10187292348 얀(YARN, Yet Another Resource Negotiator) [1편] 아파치 하둡 얀은 리소스 관리와 컴포넌트 처리를 분리한 하둡 2.0에 도입된 아파치 소프트웨어 재단의 서... blog.naver.com

https://joytk.tistory.com/55 [AWS S3] python 에서 AWS S3 데이터 리스트(object list) 가져오기 python 에서 AWS 데이터 스토리지인 S3에 접근하여 원하는 경로에 있는 파일 리스트를 읽어오는 방법입니다. 1. boto3 패키지 설치 우선 python 에서 aws s3에 접근하기 위해서는 boto3 패키지 설치를 해야 joytk.tistory.com

https://gist.github.com/ruanbekker/a0a119faee3f7493262a8c937ae0c33f Python SMTP Mailer using Amazon SES (smtplib) Python SMTP Mailer using Amazon SES (smtplib). GitHub Gist: instantly share code, notes, and snippets. gist.github.com

add double quotes POSTGRES_PORT: “5432” https://ismailyenigul.medium.com/kubernetes-configmap-and-cannot-convert-int64-to-string-error-ebf48fa1cd28 Kubernetes Configmap and “cannot convert int64 to string” error If you try to create a configmap with kubectl ismailyenigul.medium.com

Transaction Commit 순서보장 Statement-Based Replication (SBR) Row-based Relication(RBR) # SBR 제약사항 RAND() LOAD_FILE() UUID() https://jins-dev.tistory.com/entry/MySQL-%EB%B0%94%EC%9D%B4%EB%84%88%EB%A6%AC-%EB%A1%9C%EA%B7%B8binlog%EC%97%90-%EB%8C%80%ED%95%9C-%EC%9D%B4%ED%95%B4 MySQL 바이너리 로그(binlog)에 대한 이해 MySQL 의 빈로그 혹은 바이너리 로그는 MySQL 서버 인스턴스의 데이터 변경사항들에 대한 정보를 포함하는 로그 파일의 세트이다. 여기에는 에러코드, 바이너리 로그 자체에 ..

RUN: build 시점 CMD: 최초 실행, 변경 가능 ENTRYPOINT: 최초 실행, 변경 불가능 https://seokhyun2.tistory.com/61 [Docker] RUN, CMD, ENTRYPOINT 차이점 도커파일 작성 시에, 사용할 수 있는 명령어 중에 실행하는 것과 관련된 명령어는 RUN, CMD, ENTRYPOINT 세 가지가 있습니다. 세 명령어에 대한 차이점을 예시와 함께 확인해보도록 하겠습니다. 1. RUN seokhyun2.tistory.com

fun timestamp(): Long { return Date().time } https://kkkapuq.tistory.com/99 [JAVA] java.sql.timestamp 계산, 연산하기 이 글은 Notion에서 작성 후 재편집한 포스트입니다. 목차 개요 Timestamp 형식은 계산해주는 메서드가 딱 정해져 있지 않다. 그래서 Calendar 객체를 사용해서 한번 거쳐가줘야 한다.. 그래서 이 포스 kkkapuq.tistory.com

fun removeTrailSlash(s: String): String { return s.replace(Regex("/$"), "") } fun String.removeTrailSlash(): String { return CommonUtil.removeTrailSlash(this) } @Test fun removeTrailSlash() { // given val expected = "asdf/qwer" val s = "$expected/" // when val actual = CommonUtil.removeTrailSlash(s) // then assertEquals(expected, actual) } @Test fun removeTrailSlash() { // given val expected = "..

{jenkins_url}/script System.setProperty('org.apache.commons.jelly.tags.fmt.timeZone', 'Asia/Seoul') https://dodonam.tistory.com/240 젠킨스 타임존 설정 젠킨스 타임존 설정 방법은 크게 2가지가 있다. 유저별로 각각 설정하는 방법과 시스템 전체에서 타임존을 변경하는 방법이다. 유저별 설정 > 유저별로 timezone을 각각 설정 1. 유저 정보에 들어간 dodonam.tistory.com

https://dhkdn9192.github.io/apache-spark/spark_executor_memory_structure/ Spark Executor의 메모리 구조 Spark 1.6 이상부턴 메모리 관리가 UnifiedMemoryManager class에 의해 이뤄진다. dhkdn9192.github.io

https://docs.docker.com/build/building/multi-stage/ Multi-stage builds docs.docker.com

docker run --privileged --name dind1 -d docker:20.10.5-dind docker run -it -v /var/run/docker.sock:/var/run/docker.sock docker https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=isc0304&logNo=222274955992 도커 컨테이너 안에서 도커 실행하기(Docker in Docker, Docker Out of Docker) 이번 시간은 도커를 사용해 컨테이너에서 컨테이너를 실행하는 방법을 알아봅니다. 도커 컨테이너 내에서 ... blog.naver.com

ID=$1 PW=$2 curl \ -X POST \ -d "id=${ID}&pw=${PW}" \ --cookie-jar cookie {login URL} curl \ -v \ --cookie cookie {call API} https://yougome.tistory.com/452

pip install markupsafe==2.0.1 https://www.datasciencelearner.com/importerror-cannot-import-name-soft-unicode-from-markupsafe-solved/ importerror: cannot import name soft_unicode from markupsafe (Solved) importerror: cannot import name soft_unicode from markupsafe error occurs because of incompatibility of markupsafe package. www.datasciencelearner.com

https://www.statology.org/pandas-select-rows-based-on-column-values/ Pandas: How to Select Rows Based on Column Values - Statology This tutorial explains how to select rows based on column values in pandas, including several examples. www.statology.org

https://www.integrate.io/blog/storing-apache-hadoop-data-cloud-hdfs-vs-s3/ Storing Apache Hadoop Data on the Cloud - HDFS vs. S3 Ken and Ryu are both the best of friends and the greatest of rivals in the Street Fighter game series. When it comes to Hadoop data storage on the cloud though, the rivalry lies between Hadoop Distributed File System (HDFS) and Amazon's Simple Storage Serv www.integrat..

df.withColumnRenamed("dob","DateOfBirth") .printSchema() https://sparkbyexamples.com/spark/rename-a-column-on-spark-dataframes/

https://coding-kindergarten.tistory.com/204 [python/smtplib] 파이썬으로 구글 Gmail 보내기 1편. SMTP의 개념과 구글 앱 비밀번호 발급받기 안녕하세요, 왕초보 코린이를 위한 코딩유치원에 오신 것을 환영합니다. 코딩유치원에서는 파이썬 기초부터 사무자동화, 웹크롤링, 데이터 분석 등의 다양한 패키지까지 초보자도 알기 쉽도록 coding-kindergarten.tistory.com

repartition: swap coalesce: repartition optimized https://sparkbyexamples.com/spark/spark-repartition-vs-coalesce/ Spark Repartition() vs Coalesce() Spark repartition() vs coalesce() - repartition() is used to increase or decrease the RDD, DataFrame, Dataset partitions whereas the coalesce() is used to only decrease the number of partitions in an efficient way. In this article, you will learn wh..

remove `*.jar` in `.gitignore` https://fun-coding-study.tistory.com/308 Error: Could not find or load main class org.gradle.wrapper.GradleWrapperMain 위 오류는 gradle/wrapper에서 gradle-wrapper.jar 파일이 없어서 발생하는 오류였다. 그래서 .gitignore에서 *.jar을 제거하니 gradle-wrapper.jar 파일을 커밋 할 수 있었다. fun-coding-study.tistory.com

my_DF.createOrReplaceTempView("my_temp_table"); spark.sql("drop table if exists my_table"); spark.sql("create table my_table as select * from my_temp_table"); https://stackoverflow.com/questions/42261701/how-to-create-hive-table-from-spark-data-frame-using-its-schema How to create hive table from Spark data frame, using its schema? I want to create a hive table using my Spark dataframe's schema...

hbase.regionserver.handler.count 30 -> 100 hbase.rpc.timeout 90000 -> 180000​ hbase.client.write.buffer hbase.regionserver.handler.count hbase.hregion.memstore.flush.size hbase.regionserver.global.memstore.upperLimit hbase.hregion.max.filesize hbase.hstore.blockingStoreFiles hbase.client.scanner.caching hbase.rpc.timeout https://dydwnsekd.tistory.com/34 HBase 튜닝하기 하둡 클러스터 운영중 HBase read/write 관련..

bitbucket-pipelines.yml image: gradle:6.6.0-jdk11 pipelines: pull-requests: '**': - step: script: - cd ./package - ./gradlew build custom: s3-prod-mdp-batch: - step: script: - cd package - ./gradlew jar - cd .. - mkdir -p bucket/seunggabi/prod/jar/seunggabi-batch - cp seunggabi/build/libs/seunggabi-batch.jar bucket/seunggabi/prod/jar/seunggabi-batch/ artifacts: - bucket/** - step: script: - pipe..

https://sungwookkang.com/1493 [AWS] What is AWS Graviton processor? [AWS] What is AWS Graviton processor? l Version : Amazon Web Service 이번 포스트는 AWS에서 출시하여 제공하고 있는 AWS Graviton 프로세서가 무엇인지 알아본다. Graviton 프로세서에 대한 성능 및 기존 X86.. sungwookkang.com https://aws.amazon.com/ko/ec2/graviton/ AWS Graviton - Amazon Web Services M6g, C6g, R6g M6gd, C6gd, R6gd C6gn T4g X2gd aws.amazon.com

https://aws.amazon.com/ko/premiumsupport/knowledge-center/ses-set-up-connect-smtp/ Amazon SES를 사용하여 SMTP 설정 및 연결 Amazon SES를 사용하여 SMTP를 설정하고 연결하려면 어떻게 해야 합니까? 최종 업데이트 날짜: 2022년 8월 17일 Amazon Simple Email Service(Amazon SES)에 SMTP(Simple Mail Transfer Protocol)을 설정하고 싶습니다. Amazon S aws.amazon.com