배우기를 멈추는 사람은 20세건 80세건 늙은 것이다.

### Major - delete 시, 실제로 바로 삭제되지 않고, 삭제 표시만 추가 - region 의 column family 의 모든 HFile 를 하나로 병합하는 과정 - 7일에 한번 진행되도록 설정 - 데이터가 많으면 서버에 많은 부하가 생길 수 있어서 자주 수행하는 것은 좋지 않다. ### Minor - 작은 HFile 파일들을 하나로 합치는 과정 - HBase write -> memstore flush -> HFile - 탐색 시간 증가, 성능 저하 - merge - hbase.hstore.compaction.min: 3 - hbase.hstore.compaction.max: 10 https://dydwnsekd.tistory.com/74 HBase Compaction HBase Compac..

동일한 key 를 가진 튜플 데이터가 전부 같은 파티션, 재조정 작업 shuffle https://wooono.tistory.com/48 [Spark] Shuffle 이란? Spark Shuffle 이란? Shuffle 은 Spark 에서 데이터를 재분배하는 방법이며, 효율적인 Spark Application 을 개발하기 위해 상당히 중요한 개념입니다. Background Shuffle 을 이해하기 위해서는, reduceByKey.. wooono.tistory.com https://velog.io/@anjinwoong/Spark-%ED%8C%8C%ED%8B%B0%EC%85%98%EC%97%90-%EB%8C%80%ED%95%B4%EC%84%9C [Spark] 파티션, 셔플링에 대해서 파티션에 대해서. 데이..