티스토리 뷰

공부

[HBase] compaction

승가비 2022. 8. 5. 21:10
728x90

### Major

- delete 시, 실제로 바로 삭제되지 않고, 삭제 표시만 추가

- region 의 column family 의 모든 HFile 를 하나로 병합하는 과정

- 7일에 한번 진행되도록 설정

- 데이터가 많으면 서버에 많은 부하가 생길 수 있어서 자주 수행하는 것은 좋지 않다.

 

### Minor

- 작은 HFile 파일들을 하나로 합치는 과정

- HBase write -> memstore flush -> HFile

- 탐색 시간 증가, 성능 저하

- merge

- hbase.hstore.compaction.min: 3

- hbase.hstore.compaction.max: 10

 

https://dydwnsekd.tistory.com/74

 

HBase Compaction

HBase Compaction에 대해서 알아보도록 하자. Compaction에 대해 알기 전에 HBase에서 데이터를 저장하기 위한 과정에 대해 먼저 알아야 하는데, 아래의 글을 참고하도록 하자. 2021.05.15 - [BigData/HBase] - HB..

dydwnsekd.tistory.com

 

728x90
저작자표시 비영리

'공부' 카테고리의 다른 글

[logback-spring.xml] get `application.yaml`  (0) 2022.08.06
[Python] files in dir  (0) 2022.08.05
[spark] shuffle  (0) 2022.08.05
[github] actions workflows `on.schedule.cron: * * * * *` delay  (0) 2022.07.31
[Python] pandas `csv` -> `parquet`  (0) 2022.07.31
댓글