공부
[athena] schema updated & data format
승가비
2023. 3. 30. 20:26
728x90
Athena의 스키마 업데이트 및 데이터 형식예상 스키마 업데이트 유형요약CSV(헤더 포함 및 불포함) 및 TSVJSONAVROPARQUET: 이름으로 읽기(기본값)PARQUET: 인덱스로 읽기ORC: 인덱스로 읽기(기본값)ORC: 이름으로 읽기
열 이름 바꾸기 | CSV 및 TSV 또는 ORC 및 Parquet(인덱스로 읽는 경우) 형식으로 데이터를 저장합니다. | Y | N | N | N | Y | Y | N |
테이블의 시작 또는 중간에 열 추가 | JSON, AVRO 또는 Parquet 및 ORC(이름으로 읽는 경우) 형식으로 데이터를 저장합니다. CSV 및 TSV를 사용하지 마세요. | N | Y | Y | Y | N | N | Y |
테이블 끝에 열 추가 | CSV나 TSV, JSON, AVRO, ORC 또는 Parquet 형식으로 데이터를 저장합니다. | Y | Y | Y | Y | Y | Y | Y |
열 제거 | JSON, AVRO 또는 Parquet 및 ORC(이름으로 읽는 경우) 형식으로 데이터를 저장합니다. CSV 및 TSV를 사용하지 마세요. | N | Y | Y | Y | N | N | Y |
열 재정렬 | AVRO, JSON 또는 ORC 및 Parquet(이름으로 읽는 경우) 형식으로 데이터를 저장합니다. | N | Y | Y | Y | N | N | Y |
열의 데이터 형식 변경 | 데이터를 어떤 형식으로든 저장하되 Athena에서 쿼리를 테스트하여 데이터 형식이 호환되는지 확인합니다. Parquet과 ORC의 경우 데이터 형식 변경은 분할된 테이블에만 적용됩니다. | Y | Y | Y | Y | Y | Y | Y |
https://docs.aws.amazon.com/ko_kr/athena/latest/ug/handling-schema-updates-chapter.html
스키마 업데이트 처리 - Amazon Athena
ORC 테이블이 이름을 기준으로 읽도록 설정된 경우 Athena는 ORC 파일의 모든 열 이름을 소문자로 설정하도록 요구 합니다. Apache Spark는 ORC 파일을 생성할 때 필드 이름을 소문자로 하지 않으므로 Ath
docs.aws.amazon.com
728x90