Apache Airflow

[Apache Airflow] 디렉터리 구조

비번변경 2022. 7. 24. 17:20

디렉터리 구조

Airflow를 설치하면 Airflow 홈 디렉터리에 아래와 같은 기본 파일이 생성된다.

Airflow 디렉터리 구조
Airflow 1.10 기준

1.10과 2.3 모두 존재하는 공통 파일부터 서로 존재하지 않는 파일 모두 간단히 정리한다.

 

airflow.cfg

Airflow 설정 파일

Airflow DAG 경로, 로그 수준 등 실행에 필요한 정보를 저장한다.

airflow.cfg

 

 

airflow.db

SQLite DB file

어떤 DAG가 존재하고 어떤 태스크로 구성되는지, 어떤 태스크가 실행 중이고 실행 가능한 상태인지 등의 메타데이터가 저장되는 데이터베이스 파일

 

 

logs

Airflow의 로그 디렉터리

logs

다만 웹 서버나 스케쥴러를 백그라운드로 실행했을 때는 airflow 홈 디렉터리에 바로 로그가 쌓이는 것 같다.

웹 서버, 스케쥴러 로그 경로

 

 

unittest.cfg (1.10 버전)

실제 airflow에 영향을 미치지 않고 configuration setting을 테스트하기 위해 존재하는 파일

unittest.cfg

 

 

webserver_config.py (2.3 버전)

웹 서버 설정을 위한 config 파일

webserver_config.py

 

 

standalone_admin_password.txt (2.3 버전)

standalone 명령으로 airflow를 실행한 경우, admin 계정의 비밀번호가 저장된 파일

standalone_admin_password.txt

 

 

 

참고 문서

https://velog.io/@jjongbumeee/Airflow3

 

 

728x90