https://qkqhxla1.tistory.com/1136 parquet vs orc vs avro (big data file format ) 1. www.datanami.com/2018/05/16/big-data-file-formats-demystified/ 공통점. 3개 타입은 전부 하둡에 저장하는데에 최적화되어있다. orc, parquet, avro 3개 전부 기계가 읽을수 있는 바이너리 포맷이다. orc, p.. qkqhxla1.tistory.com https://www.quora.com/Why-is-parquet-best-for-Spark-and-not-ORC-although-both-are-columnar-based-file-formats Why is parquet best for Spark..
# emr.sh #!/bin/sh TAG=$1 ENV=$2 CLASS=$3 ARGS=$4 SRC=s3://src/${ENV}/jar/batch/batch.jar LOG=s3://log/${ENV}/batch/ SUBNET_ID=subnet-0e3653577617c98a3 echo $( \ aws emr create-cluster \ \ --auto-scaling-role EMR_AutoScaling_DefaultRole \ --instance-groups file://./batch/static/json/instance.json \ \ --name ${CLASS} \ --release-label emr-6.7.0 \ --auto-terminate \ --applications Name=Spark \ --u..
ImportError: cannot import name 'json' from 'itsdangerous' (/Users/seunggab.kim/seunggabi/workspace/ads/ads-bot/venv/lib/python3.10/site-packages/itsdangerous/__init__.py) https://velog.io/@___pepper/Flask-ImportError-cannot-import-name-json-from-itsdangerous [Flask] ImportError: cannot import name 'json' from 'itsdangerous' itsdangerous import error in flask velog.io ImportError: cannot import ..
Example private fun token(email: String, password: String): String { val url = "https://asdf.com/tokens" val headers = mapOf( "Accept" to "application/json", "Content-Type" to "application/json", "Authorization" to "null" ) val json = mapOf( "auth_type" to "CREDENTIAL", "credential_type_payload" to mapOf( "email" to email, "password" to password, ), ).toJson() return CrawlUtil.post(url, headers,..
pipeline { agent { kubernetes { inheritFrom 'seunggabi-batch' defaultContainer 'seunggabi-batch' } } environment { COUNTRY = "kr" ENV = "prod" CLASS = "seunggabi.batch.job.TestJob" } stages { stage('Run Job') { steps { script { ARGS = sorted(params).collect { /$it.value/ } join "," } sh "/app/static/sh/emr.sh 1 20 ${COUNTRY} ${ENV} ${CLASS} \$(printenv MAIL_DOMAIN),\$(printenv MAIL_ID),\$(printe..
pipeline { agent { kubernetes { inheritFrom 'seunggabi-batch' defaultContainer 'seunggabi-batch' } } environment { COUNTRY = "kr" ENV = "prod" CLASS = "seunggabi.batch.job.SparkSubmitJob" } stages { stage('Run Job') { steps { script { ARGS = sorted(params).collect { /$it.value/ } join "," } sh "/app/static/sh/emr.sh 1 20 ${COUNTRY} ${ENV} ${CLASS} \"${ARGS}\"" } } } } @NonCPS def sorted(def m){ ..
https://docs.docker.com/network/bridge/ Use bridge networks docs.docker.com https://docs.docker.com/network/host/ Use host networking docs.docker.com FeatureBridgeHost Driver The Bridge network is provided by the Bridge driver The host network is provided by the host driver. Default bridge is the default network and provided by a bridge driver Host does not default. Connectivity The bridge drive..
https://alex-blog.tistory.com/entry/Spark-%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%98%EB%B0%8D-RDD-DataFrame Spark 프로그래밍 - RDD, DataFrame Spark는 Mapreduce의 대체자 MapReduce의 경우 Disk에서 매번 데이터를 처음부터 읽어야한다. (-> RDD는 데이터를 처음부터 읽을 필요가 없게 만들어준다.) Spark는 데이터를 메모리에 올려서 연산 방식 데 alex-blog.tistory.com
1. 스파크(SPARK)의 연산 방식은 lazy evaluation으로 수행된다. Lazy evaluation(굳이 번역해 보자면 느긋한 연산 정도 되겠다)을 사용함으로써 action이 시작되는 시점에 트랜스포메이션(transformation)끼리의 연계를 파악해 실행 계획의 최적화가 가능해진다. 사용자가 입력한 변환 연산들을 즉시 수행하지 않고 모아뒀다가 가장 최적의 수행 방법을 찾아 처리하는 장점을 가진다. 여기서 말하는 최적화란 대부분 지역성(locality)에 관한 것이다. 예를 들어 물건을 사오는 심부름을 시킬 때 A상점에서 파는 물건과 B상점에서 파는 물건을 따로따로 여러 번사오게 하는 것보다 필요한 물건을 한꺼번에 주문해서 한 번 방문했을 때 필요한 물건을 한 번에 사는 것이 효율적이기 떄문..
class Solution { public int maxProfit(int[] prices) { int buy = Integer.MIN_VALUE; int cooldown = 0; int sell = 0; for (int p : prices) { buy = Math.max(buy, cooldown - p); cooldown = Math.max(cooldown, sell); sell = Math.max(sell, buy + p); } return sell; } } https://gonewbie.github.io/2020/02/26/daily-algorithm-best-time-to-buy-and-sell-stock/ daily-algorithm-best-time-to-buy-and-sell-stock · ..
aws emr create-cluster --configurations file://hiveConfiguration.json https://stackoverflow.com/questions/39049958/passing-hive-configuration-with-aws-emr-cli Passing hive configuration with aws emr cli I am following doc: http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-dev-create-metastore-outside.html and trying to create emr cluster using the awscli==1.10.38 . I use the st..
Directory contextMenu -> Mark Directory as -> Sources Root https://dev.plusblog.co.kr/32 PyCharm "Unresolved reference xxx" 에러 해결 파이썬 개발 환경인 PyCharm을 이용해 파이썬 프로그램을 개발할 때 "Unresolved reference xxx" 에러를 만나게 되었다. 분명 문제는 없어보이는데 PyCharm 환경에서는 에러를 내고 있었다. Module1 이라는 파 dev.plusblog.co.kr
https://en.wikipedia.org/wiki/Lambda_architecture Lambda architecture - Wikipedia Flow of data through the processing and serving layers of a generic lambda architecture Lambda architecture is a data-processing architecture designed to handle massive quantities of data by taking advantage of both batch and stream-processing methods. Thi en.wikipedia.org
on: push: tags: - 'v*.*.*' jobs: test: runs-on: ubuntu-latest steps: - uses: actions/checkout@v2 - name: Set env run: echo "RELEASE_VERSION=${GITHUB_REF#refs/*/}" >> $GITHUB_ENV - name: Test run: | echo $RELEASE_VERSION echo ${{ env.RELEASE_VERSION }} on: push: tags: - 'v*.*.*' jobs: test: runs-on: ubuntu-latest steps: - uses: actions/checkout@v2 - name: Set output id: vars run: echo ::set-outpu..
Integer[] numbers = new Integer[] { 1, 2, 3 }; List list = Arrays.asList(numbers); https://stackoverflow.com/questions/2607289/converting-array-to-list-in-java Converting array to list in Java How do I convert an array to a list in Java? I used the Arrays.asList() but the behavior (and signature) somehow changed from Java SE 1.4.2 (docs now in archive) to 8 and most snippets I found on t... stac..
import scala.collection.JavaConverters._ // asScala creates mutable Scala Map // toMap after asScala creates immutable Map val scalaImmutableMap = javaMap.asScala.toMap https://stackoverflow.com/questions/38235908/converting-a-java-map-into-a-scala-immutable-map-in-java-code Converting a Java map into a Scala immutable map in Java code I have a Java class that needs to stay in Java for a variety..
def config(map: Map[String, Any]): Builder = synchronized { map.foreach { kv: (String, Any) => { options += kv._1 -> kv._2.toString } } this } https://github.com/apache/spark/pull/37478 [SPARK-40163][SQL] feat: SparkSession.config(Map) by seunggabi · Pull Request #37478 · apache/spark https://issues.apache.org/jira/browse/SPARK-40163 What changes were proposed in this pull request? as-is private..
- Total
- Today
- Yesterday
- 테슬라 레퍼럴
- COUNT
- 어떻게 능력을 보여줄 것인가?
- 클루지
- 테슬라 크레딧 사용
- Bot
- Kluge
- 테슬라
- 인스타그램
- 연애학개론
- 김달
- 메디파크 내과 전문의 의학박사 김영수
- 테슬라 리퍼럴 코드
- 레퍼럴
- 모델y
- 테슬라 레퍼럴 적용 확인
- 테슬라 리퍼럴 코드 혜택
- 유투브
- 테슬라 추천
- 책그림
- 테슬라 레퍼럴 코드 확인
- 할인
- 테슬라 리퍼럴 코드 생성
- 개리마커스
- 팔로워 수 세기
- follower
- wlw
- 모델 Y 레퍼럴
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
31 |