티스토리 뷰

공부

[s3] Amazon EMR 애플리케이션이 실패하고 HTTP 403 ‘액세스 거부’ AmazonS3Exception 오류가 발생하는 이유가 무엇인가요?

승가비 2023. 4. 7. 02:41
728x90

S3 write 권한을 준다음

s3://abc/def/

 

zeppelin spark interpreter 를

spark.yarn.stagingDir = s3://abc/def/ 로 지정하는 경우

403 에러가 발생한다..

 

권한을 준 s3://abc/def/123 처럼 하위 디렉터리로 설정하면

이 문제를 해결 할 수 있다.

 

아마도 zeppein spark interpreter 설정에서

/ slash 를 제거하여 동작하기 때문이지 않을까 싶다..

 

https://repost.aws/ko/knowledge-center/emr-s3-403-access-denied

 

Amazon EMR에서 HTTP 403 "액세스가 거부됨" AmazonS3Exception 문제 해결 | AWS re:Post

Amazon EMR 클러스터에 애플리케이션을 제출하면 HTTP 403 ‘액세스 거부’ AmazonS3Exception과 함께 애플리케이션이 실패합니다.

repost.aws

 

728x90
저작자표시 비영리

'공부' 카테고리의 다른 글

[ec2] aws cli + jq  (0) 2023.04.07
[postgresql] install  (0) 2023.04.07
[postgresql] create user & database  (0) 2023.04.07
[spark] java.lang.ArrayIndexOutOfBoundsException: 1024 at org.apache.orc.impl.TreeReaderFactory$TreeReader.nextVector(TreeReaderFactory.java:292) at org.apache.orc.impl.TreeReaderFactory$LongTreeReader.nextVector(TreeReaderFactory.java:635) at org.apach..  (0) 2023.04.05
[jq] check key value to json  (0) 2023.04.05
댓글