배우기를 멈추는 사람은 20세건 80세건 늙은 것이다.

https://prohannah.tistory.com/99 카디널리티와 복합키 순서 그리고 PK Index PK 복합키 순서에 따라 인덱스가 타지 않을 수 있다! JPA는 복합키를 생성할 때 컬럼명의 알파벳 순으로 생성한다. Entity Class에 정의된 순서로 생성되는 게 아니기 때문에 조회할 때 기대했던 PK Ind prohannah.tistory.com

import pandas as pd df = pd.DataFrame({'X': [0, 1, 2], 'Y': [3, 4, 5]}, index=['A', 'B', 'C']) print(df) # X Y # A 0 3 # B 1 4 # C 2 5 print(df.T) # A B C # X 0 1 2 # Y 3 4 5 https://note.nkmk.me/en/python-pandas-t-transpose/ pandas: Transpose DataFrame (swap rows and columns) | note.nkmk.me Use the T attribute or the transpose() method to swap (= transpose) the rows and columns of pandas.DataFr..

CREATE DATABASE testDB; USE testDB; CREATE TABLE userTable ( userID CHAR(12) NOT NULL birthYear INT NOT NULL ) PARTITION BY RANGE(birthYear) ( PARTITION part1 VALUE LESS THAN (1970), PARTITION part2 VALUE LESS THAN (1980), PARTITION part3 VALUE LESS THAN (1990), PARTITION part4 VALUE LESS THAN MAXVALUE ); https://jaehoney.tistory.com/62 MySQL - 파티션(Partition), 테이블 분할 파티션(Partition)이란 ? 크기가 큰 테이블..

https://pks2974.medium.com/jenkins-%EC%99%80-docker-%EA%B7%B8%EB%A6%AC%EA%B3%A0-aws-cli-%EC%82%BD%EC%A7%88%EA%B8%B0-%EC%A0%95%EB%A6%AC%ED%95%98%EA%B8%B0-e728986960e2 FROM python:3.10.6 as app ENV TZ=Asia/Seoul RUN pip install awscli WORKDIR /app COPY static/ /app/static/

1. Absence of a Global Clock 2. Absence of Shared Memory https://www.geeksforgeeks.org/limitation-of-distributed-system/ Limitation of Distributed System - GeeksforGeeks A Computer Science portal for geeks. It contains well written, well thought and well explained computer science and programming articles, quizzes and practice/competitive programming/company interview Questions. www.geeksforgeek..

val msg = MimeMessage( Session.getDefaultInstance( props, object : Authenticator() { override fun getPasswordAuthentication(): PasswordAuthentication { return PasswordAuthentication(ID, PW) } } ) ) https://stackoverflow.com/questions/6610572/javax-mail-authenticationfailedexception-failed-to-connect-no-password-specifi javax.mail.AuthenticationFailedException: failed to connect, no password spec..

import json json.loads(my_bytes_value) https://stackoverflow.com/questions/40059654/python-convert-a-bytes-array-into-json-format Python - Convert a bytes array into JSON format I want to parse a bytes string in JSON format to convert it into python objects. This is the source I have: my_bytes_value = b'[{\'Date\': \'2016-05-21T21:35:40Z\', \'CreationDate\': \'2012-05-05\'... stackoverflow.com

https://zetawiki.com/wiki/Dockerfile_%EC%97%AC%EB%9F%AC%EC%A4%84_%ED%8C%8C%EC%9D%BC_%EC%83%9D%EC%84%B1%ED%95%98%EA%B8%B0 Dockerfile 여러줄 파일 생성하기 - 제타위키 다음 문자열 포함... zetawiki.com

https://github.com/psf/black/issues/3111 cannot import name 'ParameterSource' from 'click.core' · Issue #3111 · psf/black Installed multiple times on different project. Latest version( 22.3.0) gives the following error when lunched ImportError: cannot import name 'ParameterSource' from 'click.core' (/u... github.com

RUN: docker image build 시점에 실행 CMD: docker container 최초 실행 ENTRYPOINT: docker container 최초 실행 차이점에 대해서 설명부터 드려보면 ENTRYPOINT는 항상 실행이 되고, CMD는 docker run 명령어를 실행할 때, 변경이 가능합니다. https://seokhyun2.tistory.com/61 [Docker] RUN, CMD, ENTRYPOINT 차이점 도커파일 작성 시에, 사용할 수 있는 명령어 중에 실행하는 것과 관련된 명령어는 RUN, CMD, ENTRYPOINT 세 가지가 있습니다. 세 명령어에 대한 차이점을 예시와 함께 확인해보도록 하겠습니다. 1. RUN seokhyun2.tistory.com 위 Dockerfile의..

private fun dataframe(list: List): Dataset { return SQLContext(SparkUtil.instance()) .createDataFrame(list, Data::class.java) .toDF() } object SparkUtil { fun instance(name: String? = ""): SparkSession { return make(name!!) } private fun make(name: String): SparkSession { return config( SparkSession.builder().appName(name) ).enableHiveSupport().orCreate } private fun config(builder: SparkSession..

https://www.edureka.co/community/11996/groupbykey-vs-reducebykey-in-apache-spark groupByKey vs reduceByKey in Apache Spark Which is better groupByKey or reduceByKey ? www.edureka.co

public class ReverseString { public static void main(String[] args) { String str = "abcde"; StringBuffer sb = new StringBuffer(str); String reversedStr = sb.reverse().toString(); System.out.println(reversedStr); // edcba } } 출처: https://yangbox.tistory.com/59 [양's World:티스토리]

1. MSLAB(MemStore-local allocation buffer) Memstore 하나당 2MB Heap 공간 필요 2. 많은 수의 Compaction https://starblood.tistory.com/entry/HBase-%EC%97%90%EC%84%9C-region-%EC%88%98%EB%A5%BC-%EC%9E%91%EA%B2%8C-%ED%95%B4%EC%95%BC-%ED%95%98%EB%8A%94-%EC%9D%B4%EC%9C%A0 HBase 에서 region 수를 작게 해야 하는 이유 Region 수는 보통 Region Server 당 100개 정도가 적당하다. HBase 의 region 수를 작게 하는대에는 아래와 같은 이유가 있다. 1. MSLAB (MemStore-local al..

fun drop(table: String) { val spark = SparkUtil.instance(CommonUtil.methodName()) spark.catalog().dropTempView(table) } object SparkUtil { fun instance(name: String? = ""): SparkSession { return make(name!!) } private fun make(name: String): SparkSession { return config( SparkSession.builder().appName(name) ).enableHiveSupport().orCreate } private fun config(builder: SparkSession.Builder): Spark..

You need to iterate over steps.items(), because an iteration over dict only returns its keys. >>> x = sorted(steps.items()) >>> x [(1, 'value1'), (2, 'value3'), (5, 'value2')] Iterate over sorted keys: >>> for key in sorted(steps): ... # use steps[keys] to get the value https://stackoverflow.com/questions/16710112/python-iterate-over-dictionary-sorted-by-key python: iterate over dictionary sorte..

https://www.youtube.com/watch?v=5ZGsrbQbcbE

https://www.youtube.com/watch?v=RBDoN0ehZXE

https://qkqhxla1.tistory.com/1136 parquet vs orc vs avro (big data file format ) 1. www.datanami.com/2018/05/16/big-data-file-formats-demystified/ 공통점. 3개 타입은 전부 하둡에 저장하는데에 최적화되어있다. orc, parquet, avro 3개 전부 기계가 읽을수 있는 바이너리 포맷이다. orc, p.. qkqhxla1.tistory.com https://www.quora.com/Why-is-parquet-best-for-Spark-and-not-ORC-although-both-are-columnar-based-file-formats Why is parquet best for Spark..

# emr.sh #!/bin/sh TAG=$1 ENV=$2 CLASS=$3 ARGS=$4 SRC=s3://src/${ENV}/jar/batch/batch.jar LOG=s3://log/${ENV}/batch/ SUBNET_ID=subnet-0e3653577617c98a3 echo $( \ aws emr create-cluster \ \ --auto-scaling-role EMR_AutoScaling_DefaultRole \ --instance-groups file://./batch/static/json/instance.json \ \ --name ${CLASS} \ --release-label emr-6.7.0 \ --auto-terminate \ --applications Name=Spark \ --u..

ImportError: cannot import name 'json' from 'itsdangerous' (/Users/seunggab.kim/seunggabi/workspace/ads/ads-bot/venv/lib/python3.10/site-packages/itsdangerous/__init__.py) https://velog.io/@___pepper/Flask-ImportError-cannot-import-name-json-from-itsdangerous [Flask] ImportError: cannot import name 'json' from 'itsdangerous' itsdangerous import error in flask velog.io ImportError: cannot import ..

Example private fun token(email: String, password: String): String { val url = "https://asdf.com/tokens" val headers = mapOf( "Accept" to "application/json", "Content-Type" to "application/json", "Authorization" to "null" ) val json = mapOf( "auth_type" to "CREDENTIAL", "credential_type_payload" to mapOf( "email" to email, "password" to password, ), ).toJson() return CrawlUtil.post(url, headers,..

pipeline { agent { kubernetes { inheritFrom 'seunggabi-batch' defaultContainer 'seunggabi-batch' } } environment { COUNTRY = "kr" ENV = "prod" CLASS = "seunggabi.batch.job.TestJob" } stages { stage('Run Job') { steps { script { ARGS = sorted(params).collect { /$it.value/ } join "," } sh "/app/static/sh/emr.sh 1 20 ${COUNTRY} ${ENV} ${CLASS} \$(printenv MAIL_DOMAIN),\$(printenv MAIL_ID),\$(printe..

pipeline { agent { kubernetes { inheritFrom 'seunggabi-batch' defaultContainer 'seunggabi-batch' } } environment { COUNTRY = "kr" ENV = "prod" CLASS = "seunggabi.batch.job.SparkSubmitJob" } stages { stage('Run Job') { steps { script { ARGS = sorted(params).collect { /$it.value/ } join "," } sh "/app/static/sh/emr.sh 1 20 ${COUNTRY} ${ENV} ${CLASS} \"${ARGS}\"" } } } } @NonCPS def sorted(def m){ ..

bootJarMainClassName { enabled = false }

https://docs.docker.com/network/bridge/ Use bridge networks docs.docker.com https://docs.docker.com/network/host/ Use host networking docs.docker.com FeatureBridgeHost Driver The Bridge network is provided by the Bridge driver The host network is provided by the host driver. Default bridge is the default network and provided by a bridge driver Host does not default. Connectivity The bridge drive..

https://alex-blog.tistory.com/entry/Spark-%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%98%EB%B0%8D-RDD-DataFrame Spark 프로그래밍 - RDD, DataFrame Spark는 Mapreduce의 대체자 MapReduce의 경우 Disk에서 매번 데이터를 처음부터 읽어야한다. (-> RDD는 데이터를 처음부터 읽을 필요가 없게 만들어준다.) Spark는 데이터를 메모리에 올려서 연산 방식 데 alex-blog.tistory.com

1. 스파크(SPARK)의 연산 방식은 lazy evaluation으로 수행된다. Lazy evaluation(굳이 번역해 보자면 느긋한 연산 정도 되겠다)을 사용함으로써 action이 시작되는 시점에 트랜스포메이션(transformation)끼리의 연계를 파악해 실행 계획의 최적화가 가능해진다. 사용자가 입력한 변환 연산들을 즉시 수행하지 않고 모아뒀다가 가장 최적의 수행 방법을 찾아 처리하는 장점을 가진다. 여기서 말하는 최적화란 대부분 지역성(locality)에 관한 것이다. 예를 들어 물건을 사오는 심부름을 시킬 때 A상점에서 파는 물건과 B상점에서 파는 물건을 따로따로 여러 번사오게 하는 것보다 필요한 물건을 한꺼번에 주문해서 한 번 방문했을 때 필요한 물건을 한 번에 사는 것이 효율적이기 떄문..

class Solution { public int maxProfit(int[] prices) { int buy = Integer.MIN_VALUE; int cooldown = 0; int sell = 0; for (int p : prices) { buy = Math.max(buy, cooldown - p); cooldown = Math.max(cooldown, sell); sell = Math.max(sell, buy + p); } return sell; } } https://gonewbie.github.io/2020/02/26/daily-algorithm-best-time-to-buy-and-sell-stock/ daily-algorithm-best-time-to-buy-and-sell-stock · ..

' https://github.com/actions/upload-artifact/issues/161