[scala] loop & data = data ++ data

val path = "s3://data/seunggabi/orc" val extension = path.substring(path.lastIndexOf("/") + 1) var data = Seq( ("asdf", "asdf") ) for(a
공부 2023. 2. 23. 01:34
[kotlin] repeat(n) { ... }

https://hwan-shell.tistory.com/244 Kotlin] for문, while문 사용법 1. for문 코틀린 for문은 다양한 방식으로 작성될 수 있습니다. 1) 일반적인 for문fun main(args:Array) { for(i: Int in 1..10) print("$i ") //output : 1, 2, 3, 4, 5 ... 10 val len: Int = 5 for(i in 1..len) print("$i ") //output : 1, 2, hwan-shell.tistory.com https://stackoverflow.com/questions/49214684/ignore-loop-constant-in-for-loop Ignore loop constant in for loop ..
공부 2023. 2. 23. 01:13
[spark] Service 'sparkDriver' failed after 16 retries (on a random free port)! 오류

127.0.0.1 HostName.local 127.0.0.1 localhost hostname https://itholic.github.io/etc-sparkdriver-retires-err/ [spark] Service ‘sparkDriver’ failed after 16 retries (on a random free port)! 오류 Spark Service ‘sparkDriver’ failed after 16 retries (on a random free port)! 오류 해결 itholic.github.io
공부 2023. 2. 23. 00:32
[spark] Pyspark: Serialized task exceeds max allowed. Consider increasing spark.rpc.message.maxSize or using broadcast variables for large values

--conf spark.rpc.message.maxSize=2047 https://stackoverflow.com/questions/54458815/pyspark-serialized-task-exceeds-max-allowed-consider-increasing-spark-rpc-mess Pyspark: Serialized task exceeds max allowed. Consider increasing spark.rpc.message.maxSize or using broadcast variables for lar I'm doing calculations on a cluster and at the end when I ask summary statistics on my Spark dataframe with..
공부 2023. 2. 23. 00:30
[python] mecab (형태소 분석기)

https://christinarok.github.io/2021/04/08/mecab.html PYTHON - 형태소 분석기 mecab 설치 및 사용 방법 (feat. linux, python) - Christina Codes Intro 형태소 분석은 모든 자연어처리(NLP)의 필수 전처리 과정이다. 간단한 word2vec 모델부터 무거운 transformer기반 모델(대표적으로 Bert 모델)까지 인풋으로 입력되는 문장을 작은 단위로 쪼개주는 christinarok.github.io
공부 2023. 2. 23. 00:21
1
728x90
728x90