티스토리 뷰

공부

[Hive] `Tez` vs `MR`

승가비 2022. 9. 24. 15:33
728x90

### MR

Map Reduce 반복하는 과정 Disk I/O

 

### Tez

DAG(비동기 사이클 그래프)

stage(map + reduce)

stage 가 나뉘지 않는 작업에는 속도 향상 기대가 어렵다. (mapper only)

 

SET hive.execution.engine = tez;

https://snowturtle93.github.io/posts/Tez%EA%B0%80-MR%EB%B3%B4%EB%8B%A4-%EB%B9%A0%EB%A5%B8%EC%9D%B4%EC%9C%A0/

 

Tez가 MR보다 빠른이유.

1.Tez와 MapReduce의 동작 차이.

snowturtle93.github.io

https://gyuhoonk.github.io/hive-merge-query

 

Merge Files in HDFS

HDFS에서 작은 용량의 파일들을 합쳐보자 Blocks in HDFS 데이터는 HDFS 상에서 Block이라는 단위로 저장됩니다. 일반적으로 하나의 Block에 128MB를 저장합니다. 따라서 Block Size, 128MB를 넘는 데이터는 여

gyuhoonk.github.io

 

728x90
저작자표시 비영리

'공부' 카테고리의 다른 글

[docker] apt-get update && apt-get install vim  (0) 2022.09.25
[Presto] JSON `( json, '$.root.child')`  (0) 2022.09.25
[kotlin] collection.forEachIndexed { index, element ->  (0) 2022.09.24
[spark] sql repartition (by query hint) `SELECT /*+ COALESCE(1) */` is better than `SELECT /*+ REPARTITION(1) */`  (0) 2022.09.22
[kotlin] camelToSnake  (0) 2022.09.21
댓글