티스토리 뷰

공부

[Airflow] dag, execution_date, template_fields & self.{value} logging

승가비 2022. 5. 7. 19:10
728x90

https://brownbears.tistory.com/593

 

[Airflow] DAG에서 다른 DAG 호출하기 (DAG 종속성)

dag를 설계할 때 dag끼리 종속성을 갖지 않는 것이 가장 좋지만 어쩔 수 없이 종속성을 만들어야 하는 경우가 있습니다. 아래와 같은 상황일 때, dag의 종속성을 갖는 것이 유용하게 사용됩니다. 두

brownbears.tistory.com

https://bomwo.cc/posts/execution_date/

 

Airflow 구조와 execution_date 이해하기 - 데이터와 개발을 좋아하는 사람

들어가기 저번 포스트였던 Airflow란?에 간단하게 airflow의 개념들에 대해서 작성해보았다. 오늘은 airflow를 구조에 대해 파악과 docker를 이용해 간단하게 설치 후 execution_date이 무엇이고 어떤 식으

bomwo.cc

https://stackoverflow.com/questions/46808531/how-can-i-get-execution-date-in-dag-the-outside-of-operator

 

How can I get execution_date in dag?? the outside of operator?

How can I get an execution_date parameter in outside of dag? execution_min = "{{execution_date.strftime('%M') }}" if execution_min == '00': logging.info('**** ' + "YES, It's 00") final_ta...

stackoverflow.com

https://blog.bsk.im/2021/03/21/apache-airflow-aip-39/

 

AIP-39: Airflow 'schedule_interval'의 변신, 그리고 'execution_date'의 종말

Apache Airflow 프로젝트 최근 Proposal에서 제안된 'schedule_interval' 고도화 방법과 'execution_date'를 제거하는 방향이 제안된 배경에 대해 알아봅니다.

blog.bsk.im

https://louisdev.tistory.com/29

 

[Airflow] Custom Operator에서 Jinja template 값 치환 실패시 해결방법

앞서 BashOperator 확장을 통한 Spark Custom Operator 를 통해 Custom Operator를 만들어 보았고, dag 실행시 arguments를 전달하여 실행하는 방법을 통해 arguments를 dag에 전달하는 방법을 알아보았다. 필자는..

louisdev.tistory.com

https://stackoverflow.com/questions/40120467/adding-logs-to-airflow-logs

 

Adding logs to Airflow Logs

How can I add my own logs onto the Apache Airflow logs that are automatically generated? any print statements wont get logged in there, so I was wondering how I can add my logs so that it shows up ...

stackoverflow.com

 

728x90
저작자표시 비영리

'공부' 카테고리의 다른 글

[Docker] ARG vs ENV  (0) 2022.05.08
[Git 에러] Fatal: 정방향이 불가능하므로, 중지합니다.  (0) 2022.05.08
[Python] __new__ return constructor  (0) 2022.05.07
[K8s] Ingress  (0) 2022.05.07
[Airflow] kafka producer flush() not working (solution: instanciate object in execute)  (0) 2022.05.07
댓글