티스토리 뷰

공부

[airflow] execute with config

승가비 2023. 1. 24. 06:03
728x90
def args_function(**kwargs):
    c = boto3.Session().get_credentials()

    p = kwargs["params"]

    return [c.access_key, c.secret_key, "ap-northeast-2", p["s3"], p["keyword"]]

https://it-sunny-333.tistory.com/159

 

[Airflow] python 함수 호출시 argument 넘기기

간단한 Airflow DAG를 살펴보자. extract라는 파이썬 함수를 호출하는 task 1개로 이루어져 있다. extract 함수를 호출할 때 argument를 같이 전달해야 한다. 그러면 Airflow DAG에서 python 함수를 호출할 때 어

it-sunny-333.tistory.com

728x90
저작자표시 비영리

'공부' 카테고리의 다른 글

[linux] Unable to fetch some archives, maybe run apt-get update or try with --fix-missing  (0) 2023.01.24
[spark] ERROR : User did not initialize spark context  (0) 2023.01.24
[docker-compose] use env `$variable`  (0) 2023.01.24
[boto3] boto3.Session().get_credentials()  (0) 2023.01.24
[linux] linux PATH issue between /usr/bin/ and /usr/local/bin `hash -r`  (0) 2023.01.24
댓글