티스토리 뷰

공부

[airflow] configurations

승가비 2023. 7. 16. 12:46
728x90
config:
  AIRFLOW__CORE__DEFAULT_TIMEZONE: Asia/Seoul
  AIRFLOW__CORE__DEFAULT_TASK_EXECUTION_TIMEOUT: 10800
  AIRFLOW__CORE__LOAD_EXAMPLES: false
  AIRFLOW__CORE__PARALLELISM: 128
  AIRFLOW__CORE__MAX_ACTIVE_RUNS_PER_DAG: 64

  AIRFLOW__LOGGING__REMOTE_LOGGING: true
  AIRFLOW__LOGGING__REMOTE_BASE_LOG_FOLDER: s3://asdf
  AIRFLOW__LOGGING__REMOTE_LOG_CONN_ID: aws_default

  AIRFLOW__WEBSERVER__EXPOSE_CONFIG: false
  AIRFLOW__WEBSERVER__DEFAULT_UI_TIMEZONE: Asia/Seoul
  AIRFLOW__WEBSERVER__BASE_URL: https://asdf
  AIRFLOW__WEBSERVER__INSTANCE_NAME: airflow-prd
  AIRFLOW__WEBSERVER__NAVBAR_COLOR: "#f0f0f0"

  AIRFLOW__KUBERNETES_EXECUTOR__DELETE_WORKER_PODS_ON_FAILURE: true
  AIRFLOW__KUBERNETES_EXECUTOR__WORKER_PODS_CREATION_BATCH_SIZE: 10

https://brownbears.tistory.com/626

 

[Airflow] configuration 설명 및 파라미터 튜닝

간단하게 사용한다면 airflow 기본 설정으로도 가능하지만 많은 dag나 task들을 병렬로 처리하고자 한다면 튜닝이 진행되어야 합니다. 튜닝을 진행할 때엔 아래와 같이 3가지 단계로 진행할 수 있습

brownbears.tistory.com

https://stackoverflow.com/questions/67045866/apache-airflow-configuration-is-empty-and-dags-plugins-missing

 

apache airflow configuration is empty and dags && plugins missing

I have installed apache airflow on Ubuntu 18.4 using this link https://airflow.apache.org/docs/apache-airflow/stable/start/local.html now when i run airflow with airflow webserver --port 8080 an...

stackoverflow.com

https://airflow.apache.org/docs/apache-airflow/2.5.3/configurations-ref.html

 

Configuration Reference — Airflow Documentation

 

airflow.apache.org

https://eyeballs.tistory.com/534

 

[Airflow] parallelism, max_active_runs_per_dag, max_active_tasks_per_dag 이해하기

airflow 에서 Task 를 병렬 실행 할 때, Task 의 수를 조절하는 옵션값들이 헷갈려서 정리함 2022.05.07 parallelism [공식 문서] (모든 DAG 내에서 실행되는) 최대 task 수 예를 들어 parallelism 이 3이면, 모든 실

eyeballs.tistory.com

 

728x90
저작자표시 비영리

'공부' 카테고리의 다른 글

[sh] replace ${varName//$'\n'/\\n}  (0) 2023.07.22
[airflow] AIRFLOW__KUBERNETES_EXECUTOR__DELETE_WORKER_PODS_ON_FAILURE=true  (0) 2023.07.16
[github] actions not working  (0) 2023.07.16
[aws] emr machine usage (mem & cpu)  (0) 2023.07.16
[airflow] FAILED: Can't locate revision identified by '03afc6b6f902' #16104  (0) 2023.07.15
댓글