티스토리 뷰

공부

[Hive] ORC 파일 포맷

승가비 2021. 12. 18. 16:43
728x90

ORC(Optimized Row Columnar)

컬럼단위로 데이터 기록

인덱스를 기록하여 컬럼에 바로 접근

JSON 중첩구조, 리스트, 맵 복합 형태

 

### 특징

- 결과가 하나의 파일, 네임노드의 부하를 줄여줌

- datetime, decimal, complex type (struct, list, map, union) 지원

- 파일 경량 인덱스가 저장

- 데이터 타입 기반의 block-mode 압축

- 하나의 파일을 여러개의 리더로 동시에 읽기 가능

- 마커 스캐닝 없이 파일 분할 가능

- 파일 읽기 쓰기에 일정한 메모리 용량만 필요

- 필드의 추가나 제거가 가능한 메타 데이터는 Protocol Buffers 를 사용해서 저장

 

 

https://118k.tistory.com/408

 

[hive] ORC 파일 포맷

ORC(Optimized Row Columnar) 파일 포맷 ORC 파일 포맷은 하이브의 처리 속도를 높이기 위하여 개발 되었다. 하이브가 처음에 사용한 TextFile, SequenceFile 포맷의 처리속도를 높이기 위하여 RCFile 포맷이 개..

118k.tistory.com

https://cwiki.apache.org/confluence/display/hive/languagemanual+orc 

 

LanguageManual ORC - Apache Hive - Apache Software Foundation

ORC Files ORC File Format Version Introduced in Hive version 0.11.0. The Optimized Row Columnar (ORC) file format provides a highly efficient way to store Hive data. It was designed to overcome limitations of the other Hive file formats. Using ORC files im

cwiki.apache.org

 

728x90
저작자표시 비영리 변경금지

'공부' 카테고리의 다른 글

[Spark] App name  (0) 2021.12.18
[Java] map.foreach((k, v) -> {})  (0) 2021.12.18
[Hive] ROW FORMAT DELIMITED is only compatible with 'textfile', not 'orc'  (0) 2021.12.18
[Linux] Couldn't authenticate to server: Bad sendauth version was sent  (0) 2021.12.18
[Java] intersection retainAll()  (0) 2021.12.18
댓글