공부
[Hive] `Tez` vs `MR`
승가비
2022. 9. 24. 15:33
728x90
### MR
Map Reduce 반복하는 과정 Disk I/O
### Tez
DAG(비동기 사이클 그래프)
stage(map + reduce)
stage 가 나뉘지 않는 작업에는 속도 향상 기대가 어렵다. (mapper only)
SET hive.execution.engine = tez;
Tez가 MR보다 빠른이유.
1.Tez와 MapReduce의 동작 차이.
snowturtle93.github.io
https://gyuhoonk.github.io/hive-merge-query
Merge Files in HDFS
HDFS에서 작은 용량의 파일들을 합쳐보자 Blocks in HDFS 데이터는 HDFS 상에서 Block이라는 단위로 저장됩니다. 일반적으로 하나의 Block에 128MB를 저장합니다. 따라서 Block Size, 128MB를 넘는 데이터는 여
gyuhoonk.github.io
728x90