티스토리 뷰

공부

[hive] 대체제 (hudi, iceberg, delta lake) -> iceberg

승가비 2023. 1. 28. 03:18
728x90

https://magpienote.tistory.com/255

 

Hive 테이블 문제점 및 대체제 알아보기 Hudi vs Iceberge vs delta lake 이해하고 비교해보기

이전 글에서 HQL을 사용해보았고 Compaction에 대해 포스팅을 할려고 했으나 compaction 시 에로사항이 많아서 포스팅을 하지 못한다고 판단하였고 대신에, hive 테이블의 문제점과 대체제에 대해 알아

magpienote.tistory.com

https://www.onehouse.ai/blog/apache-hudi-vs-delta-lake-vs-apache-iceberg-lakehouse-feature-comparison

 

Apache Hudi vs Delta Lake vs Apache Iceberg - Lakehouse Feature Comparison

A thorough comparison of Apache Hudi, Delta Lake, and Apache Iceberg across features, community, and performance benchmarks.

www.onehouse.ai

https://databeans-blogs.medium.com/delta-vs-iceberg-vs-hudi-reassessing-performance-cb8157005eb0

 

Delta vs Iceberg vs hudi : Reassessing Performance

Introduction:

databeans-blogs.medium.com

https://cce199.tistory.com/59

 

apache hudi 소개

hudi 소개(간단함) hudi는 현재 apache incubator project로서 "big data에 스트림 처리를 제공하며, 기존 batch보다 나은 최신데이터를 제공한다" 라고 나와있습니다. 말이 좀 어려울수도 있는데 hudi에 이름에

cce199.tistory.com

https://hudi.apache.org/docs/quick-start-guide/

 

Spark Guide | Apache Hudi

This guide provides a quick peek at Hudi's capabilities using spark-shell. Using Spark datasources, we will walk through

hudi.apache.org

https://www.dremio.com/blog/comparison-of-data-lake-table-formats-apache-iceberg-apache-hudi-and-delta-lake/

 

Comparison of Data Lake Table Formats (Apache Iceberg, Apache Hudi and Delta Lake) | Dremio

Apache Iceberg, Apache Hudi, and Delta Lake: A Comparison of Data Lake Table Formats

www.dremio.com

 

728x90
저작자표시 비영리

'공부' 카테고리의 다른 글

[sh] foreach echo args  (0) 2023.01.28
[intelliJ] does not rearrange import in lexicographic order  (0) 2023.01.28
[git] branch remove all exclude (main | master | release)  (0) 2023.01.24
[hive] table get `location`  (0) 2023.01.24
[s3] delete (object & version)  (0) 2023.01.24
댓글