티스토리 뷰

공부

[athena] schema updated & data format

승가비 2023. 3. 30. 20:26
728x90

Athena의 스키마 업데이트 및 데이터 형식예상 스키마 업데이트 유형요약CSV(헤더 포함 및 불포함) 및 TSVJSONAVROPARQUET: 이름으로 읽기(기본값)PARQUET: 인덱스로 읽기ORC: 인덱스로 읽기(기본값)ORC: 이름으로 읽기

열 이름 바꾸기 CSV 및 TSV 또는 ORC 및 Parquet(인덱스로 읽는 경우) 형식으로 데이터를 저장합니다. Y N N N Y Y N
테이블의 시작 또는 중간에 열 추가 JSON, AVRO 또는 Parquet 및 ORC(이름으로 읽는 경우) 형식으로 데이터를 저장합니다. CSV 및 TSV를 사용하지 마세요. N Y Y Y N N Y
테이블 끝에 열 추가 CSV나 TSV, JSON, AVRO, ORC 또는 Parquet 형식으로 데이터를 저장합니다. Y Y Y Y Y Y Y
열 제거 JSON, AVRO 또는 Parquet 및 ORC(이름으로 읽는 경우) 형식으로 데이터를 저장합니다. CSV 및 TSV를 사용하지 마세요. N Y Y Y N N Y
열 재정렬 AVRO, JSON 또는 ORC 및 Parquet(이름으로 읽는 경우) 형식으로 데이터를 저장합니다. N Y Y Y N N Y
열의 데이터 형식 변경 데이터를 어떤 형식으로든 저장하되 Athena에서 쿼리를 테스트하여 데이터 형식이 호환되는지 확인합니다. Parquet과 ORC의 경우 데이터 형식 변경은 분할된 테이블에만 적용됩니다. Y Y Y Y Y Y Y

https://docs.aws.amazon.com/ko_kr/athena/latest/ug/handling-schema-updates-chapter.html

 

스키마 업데이트 처리 - Amazon Athena

ORC 테이블이 이름을 기준으로 읽도록 설정된 경우 Athena는 ORC 파일의 모든 열 이름을 소문자로 설정하도록 요구 합니다. Apache Spark는 ORC 파일을 생성할 때 필드 이름을 소문자로 하지 않으므로 Ath

docs.aws.amazon.com

 

728x90
저작자표시 비영리

'공부' 카테고리의 다른 글

EMR 플랫폼 기반의 Spark 워크로드 실행 최적화 방안 - 정세웅, AWS 솔루션즈 아키텍트:: AWS Summit Online Korea 2020  (0) 2023.03.30
[HTTP] status code - 303 See Other  (0) 2023.03.30
[DBT] basic  (0) 2023.03.30
[python] boto3_client  (0) 2023.03.17
[hive] partition reload  (0) 2023.03.16
댓글