[airflow] 구성 설정 및 확인

airflow.cfg

Airflow를 설치하고 실행시킬 때 생성되는 Airflow 구성 설정 파일이다. $AIRFLOW_HOME(~/airflow) 경로에 생성되며, 사용자는 파일을 편집하여 airflow 설정을 변경할 수 있다.

또는 환경 변수로 설정할 수도 있다.

 

 

설정 예시

1.  airflow.cfg

[database]
sql_alchemy_conn = my_conn_string

 

2. 환경 변수 정의

export AIRFLOW__DATABASE__SQL_ALCHEMY_CONN=my_conn_string

 

3. _cmd

airflow_cfg에서 키에 _cmd를 추가하면 airflow 실행 시 connection 할 명령어를 설정할 수 있다.

[database]
sql_alchemy_conn_cmd = bash_command_to_run

 

4. _secret

airflow_cfg에서 키에 _secret를 추가하면 airflow 실행 시 connection에 사용할 정보를 설정할 수 있다.

[database]
sql_alchemy_conn_secret = sql_alchemy_conn
# You can also add a nested path
# example:
# sql_alchemy_conn_secret = database/sql_alchemy_conn

_cmd, _secret 모두 환경 변수로 설정해도 무방하다.

 

 

우선 순위

airflow 구성 설정은 아래와 같은 우선순위를 가진다.

1. 환경 변수
2. 환경 변수로 설정한 명령
3. 환경 변수로 설정한 SECRET
4. airflow.cfg 설정
5. airflow.cfg로 설정한 명령
6. airflow.cfg로 설정한 SECRET
7. airflow 기본값

 

 

구성 정보 확인

현재의 Airflow 구성 정보는 다음과 같은 명령어로 확인할 수 있다.

airflow config list

 

특정 옵션에 대한 값만 확인하고 싶을 때는 config get-value 명령을 사용한다.

airflow config get-value <section> <option>

# 예시
airflow config get-value core executor

 

 

참고 문서

https://airflow.apache.org/docs/apache-airflow/stable/howto/set-config.html