티스토리 뷰

공부

[s3] `_$folder$` 접미사가 있는 빈 파일을 안전하게 삭제할 수 있습니까?

승가비 2023. 1. 24. 05:28
728x90

해결 방법

"_ $ folder $" 파일은 자리 표시자입니다. -mkdir 명령을 사용하여 S3 버킷에 폴더를 생성하면 Apache 하둡이 이러한 파일을 생성합니다. 하둡은 첫 번째 객체를 PUT할 때까지 폴더를 생성하지 않습니다. 하나 이상의 객체를 PUT하기 전에 "_ $ folder $" 파일을 삭제하면 하둡이 폴더를 생성할 수 없습니다. 그러면 "해당 파일이나 디렉터리가 없음(No such file or directory)" 오류가 발생합니다.

일반적으로 "_$folder$" 파일을 삭제하지 않는 것이 좋습니다. 그러면 Amazon EMR 작업의 성능 문제가 발생할 수 있습니다. 단, Amazon S3에서 폴더를 수동으로 삭제한 다음 Amazon EMR 작업에서 또는 하둡 명령을 사용하여 폴더를 다시 생성하려고 시도하는 경우는 예외입니다. 폴더를 다시 만들기 전에 "_$folder$" 파일을 삭제하지 않으면 "파일이 존재함(File exists)" 오류가 발생합니다.

 

삭제해도 또 생기므로 삭제 안하는게 좋음.

 

https://aws.amazon.com/ko/premiumsupport/knowledge-center/emr-s3-empty-files/

 

S3 버킷에 “_$ folder$” 접미사가 있는 빈 파일 삭제

Amazon S3에서 Amazon EMR을 사용할 때 Amazon S3 버킷에 _$folder$ 접미사가 있는 빈 파일을 안전하게 삭제할 수 있습니까? 최종 업데이트 날짜: 2021년 4월 15일 Amazon EMR을 사용하여 Amazon Simple Storage Service(Ama

aws.amazon.com

 

728x90
저작자표시 비영리

'공부' 카테고리의 다른 글

[python] *args, **kwargs  (1) 2023.01.24
[Jetbrains] Refreshing environment variables  (0) 2023.01.24
[s3] bucket naming  (0) 2023.01.24
[zeppelin] spark.yarn.stagingDir (x) -> spark.hadoop.hive.exec.stagingdir (o)  (0) 2023.01.21
[airflow] RBAC  (0) 2023.01.17
댓글