curl -O https://archive.apache.org/dist/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz tar -xf spark-3.2.0-bin-hadoop3.2.tgz https://archive.apache.org/dist/spark/spark-3.2.0/ Index of /dist/spark/spark-3.2.0 archive.apache.org ./bin/spark-shell WARNING: An illegal reflective access operation has occurred WARNING: Illegal reflective access by org.apache.spark.unsafe.Platform (file:/Users/seungg..
import java.util.ArrayList; import java.util.Collections; import java.util.HashMap; import java.util.List; import java.util.Map; public class Solution { static Map map = new HashMap(); public int[] solution(String[] info, String[] query) { int[] answer = new int[query.length]; for (int i = 0; i < info.length; i++) { String[] arr = info[i].split(" "); dfs(arr.length - 1, "", 0, arr); } for (Strin..
https://www.linkedin.com/pulse/read-write-operations-hbase-prateek-kumar/ Read and Write Operations in HBase HBase is the open source implementation of Google’s Big Table, with slight modifications. HBase was created in 2007 and was initially a part of contributions to Hadoop which later became a top level Apache project. www.linkedin.com https://mrsence.tistory.com/36 HBase 소개 # HBase ---------..
import java.util.PriorityQueue; public class Solution { public int solution(int[] scoville, int K) { PriorityQueue queue = new PriorityQueue(); for (int i : scoville) { queue.add(i); } int answer = 0; while (true) { if (queue.peek() >= K) { return answer; } if (queue.size() < 2) { break; } int a = queue.poll(); int b = queue.poll(); queue.add(a + b * 2); answer++; } return -1; } } https://coding..
private boolean check(String s, int left, int right) { while (left = right) { return true; } return false; } https://leetcode.com/problems/valid-palindrome-ii/submissions/ Valid Palindrome II - LeetCode Level up your coding skills and quickly land a job. This is the best place to expand your knowledge and get prepared for your next interview. leetcode.com
Arrays.stream(arr) .boxed() .max(Comparator.comparing(i -> i)) .orElse(0); https://blog.advenoh.pe.kr/java/%EC%9E%90%EB%B0%948-%EC%8A%A4%ED%8A%B8%EB%A6%BC-%EC%82%AC%EC%9A%A9%ED%95%B4%EC%84%9C-max%EA%B0%92-%EC%B6%94%EC%B6%9C%ED%95%98%EA%B8%B0/ 자바8 스트림 사용해서 max, min 값 찾기 1. 들어가며 자바8의 스트림 API를 사용해서 List나 배열에서 max, min 값을 찾는 방법에 대해서 알아보자. 2. 스트림을 사용하여 max 값 찾기 2.1 숫자 List에서 Max 값 찾기 : 숫자 List에서 max…..
https://jaemunbro.medium.com/apache-spark-partition-pruning%EA%B3%BC-predicate-pushdown-bd3948dcb1b6 [Apache Spark] Partition Pruning과 Predicate Pushdown Spark에서 read성능을 올려주는 주요한 기능들인 Partition Pruning과 Predicate Pushdown에 대해서 간단히 정리해보자. jaemunbro.medium.com
### Row Oriented 하나의 Row 데이터를 추가/삭제할때 하나의 페이지만 사용하기에 좋다. 하나의 Row의 대부분의 컬럼을 읽어야 하거나 변경하는 경우 하나의 Read/Write로 가능하다. 모든 Row를 읽는 경우 불필요한 Column값을 다 읽어야 한다. Page의 사용하지 않는 공간까지 읽어야 한다. ### Column Oriented 다수의 컬럼을 조회하는 상황이라면 쓸모가 없어보인다. 오히려 결과를 합치는 작업 비용이 더 커져서 느릴 경우가 발생할 거 같다. Row형으로 저장하는 대신 Column으로 저장하는 방식이다. 모든 Column들은 개별적으로 다뤄지며 Column별로 연속적으로 저장된다. Column별로 데이터가 저장되기때문에 압축에도 높은 효율을 얻을 수 있다. https:..
http://beginnershadoop.com/2019/09/27/spark-jobs-stages-tasks/ Spark Jobs, Stages, Tasks Every distributed computation is divided in small parts called jobs, stages and tasks. It’s useful to know them especially during monitoring because it helps to detect bottlenecks. Job -… beginnershadoop.com job: action stage: each shuffle map & result type task https://eyeballs.tistory.com/206 [Spark] 기술 질문..
--name {appName} conf.set("spark.app.name", appName) https://stackoverflow.com/questions/36747268/why-does-conf-setspark-app-name-appname-not-set-the-name-in-the-ui/42883306 Why does conf.set("spark.app.name", appName) not set the name in the UI? I am calling val appName : String = arguments.getNameFromConfig val conf = new SparkConf() conf.set("spark.driver.maxResultSize", "30G") conf.set("spar..
https://wonyoung2.tistory.com/678 HashMap 전체 참조(foreach) 방법 (Java) HashMap 에 포함된 Key, Value 값을 모두 확인하는 방법 # 데이터 생성 HashMap map = new HashMap (); map.put("key1", "value1"); map.put("key2", "value2"); map.put("key3", "value3"); # 방법 1 Iterator ke.. wonyoung2.tistory.com
ORC(Optimized Row Columnar) 컬럼단위로 데이터 기록 인덱스를 기록하여 컬럼에 바로 접근 JSON 중첩구조, 리스트, 맵 복합 형태 ### 특징 - 결과가 하나의 파일, 네임노드의 부하를 줄여줌 - datetime, decimal, complex type (struct, list, map, union) 지원 - 파일 경량 인덱스가 저장 - 데이터 타입 기반의 block-mode 압축 - 하나의 파일을 여러개의 리더로 동시에 읽기 가능 - 마커 스캐닝 없이 파일 분할 가능 - 파일 읽기 쓰기에 일정한 메모리 용량만 필요 - 필드의 추가나 제거가 가능한 메타 데이터는 Protocol Buffers 를 사용해서 저장 https://118k.tistory.com/408 [hive] ORC 파..
if you are using any binary format (ORC, AVRO, Parquet) to store you data then ROW FORMAT DELIMITED FIELDS TERMINATED BY is just ignored, you can use it in your table syntax, it might not give you any error. However they are not being used https://stackoverflow.com/questions/53871596/is-defining-a-delimiter-in-a-hive-orc-table-useless Is defining a delimiter in a hive ORC Table useless? When you..
하드디스크 용량이 없는 경우에 발생할 수 있으니 연결된 세션이 있다면 하드디스크 용량을 확인하고 없다면 충분히 확보한 뒤에 시도해본다. https://devday.tistory.com/2382 Couldn't authenticate to server: Bad sendauth version was sent 커버로스 (Kerberos)로 rlogin 시에 다음과 같은 에러에 직면할 수 있다. Couldn't authenticate to server: Bad sendauth version was sent 하드디스크 용량이 없는 경우에 발생할 수 있으니 연결된 세션이 있다.. devday.tistory.com
List ss = new ArrayList(Arrays.asList(s.split(DELIMITER))); List ii = Arrays.asList(i.split(DELIMITER)); ss.retainAll(ii); if (ss.size() == ii.size()) { return true; } https://jishushu.tistory.com/17 [Java] ArrayList의 출력/addAll()/ removeAll()/ retainAll() ArrayList에 대해 공부하기 전에 자바의 Collection Framework에 대해 잠깐 정리. 컬렉션 프레임워크란 쉽게 말하면 데이터를 효과적으로 처리하고 저장할 수 있도록 데이터 처리 알고리즘을 클래스로 jishushu.tistory.com
private void print(List list) { System.out.println(Arrays.toString(list.toArray())); } https://stackoverflow.com/questions/10168066/how-to-print-out-all-the-elements-of-a-list-in-java How to print out all the elements of a List in Java? I am trying to print out all the elements of a List, however it is printing the pointer of the Object rather than the value. This is my printing code... for(int ..
set hive.exec.max.dynamic.partitions=10000; https://github.com/HomoEfficio/dev-tips/blob/master/Hive%20Dynamic%20Partition%20Insert.md GitHub - HomoEfficio/dev-tips: 개발하다 마주쳤던 작은 문제들과 해결 방법 정리 개발하다 마주쳤던 작은 문제들과 해결 방법 정리. Contribute to HomoEfficio/dev-tips development by creating an account on GitHub. github.com
List list = Arrays.asList("A", "E", "I", "O", "U"); int size = list.size(); Map map = IntStream.range(0, size) .boxed() .collect(Collectors.toMap( i -> list.get(i), i -> i )); https://blog.advenoh.pe.kr/java/%EC%9E%90%EB%B0%948-%EC%8A%A4%ED%8A%B8%EB%A6%BC-%EC%82%AC%EC%9A%A9%ED%95%B4%EC%84%9C-List-Map-%ED%98%95%ED%83%9C%EB%A1%9C-%EB%B3%80%ED%99%98%ED%95%98%EB%8A%94-%EB%B0%A9%EB%B2%95/ 자바8 스트림 사용해..
INSERT OVERWRITE TABLE table_name_orc SELECT * FROM table_name https://community.cloudera.com/t5/Support-Questions/How-to-convert-hive-table-format-to-ORC/td-p/281421 How to convert hive table format to ORC I have a super large json file and I have created an external hive table to read the file which is partitioned by date and hour. However, I ran into out-of-memory error when pulling out data ..
- Total
- Today
- Yesterday
- 메디파크 내과 전문의 의학박사 김영수
- 테슬라 리퍼럴 코드 생성
- 테슬라 리퍼럴 코드
- COUNT
- 클루지
- 김달
- Kluge
- 테슬라 크레딧 사용
- 책그림
- 인스타그램
- 모델 Y 레퍼럴
- 테슬라 레퍼럴
- wlw
- Bot
- 테슬라 레퍼럴 적용 확인
- 테슬라 리퍼럴 코드 혜택
- 팔로워 수 세기
- follower
- 레퍼럴
- 어떻게 능력을 보여줄 것인가?
- 테슬라 추천
- 테슬라
- 할인
- 테슬라 레퍼럴 코드 확인
- 개리마커스
- 유투브
- 모델y
- 연애학개론
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |