개요
2022.07.25 - [Airflow] DAG 생성 에서 생성한 DAG가 정상적으로 동작할지 간단히 확인해보자.
아래와 같은 방식으로 테스트를 수행하면 기본적인 에러 여부를 확인할 수 있다. 참고로 명령어는 1.10 버전 기준이다.
python 실행 테스트
python 명령으로 DAG 정의 파일을 실행해본다.
python dag_helloworld.py발생한 예외가 없으면 정상적인 상태이다.
메타데이터 검사
DAG 정의 파일의 유효성을 추가로 검증해본다.
DAG 인식
Airflow에서 DAG를 정상적으로 인식하는지 확인한다.
airflow dags list
Task 인식
Airflow에서 DAG의 Task를 정상적으로 인식하는지 확인한다.
airflow list_tasks DAG_ID
# 예시
airflow list_tasks helloworld
--tree 옵션을 추가하면 Task 간의 의존성도 함께 확인할 수 있다.
airflow list_tasks DAG_ID --tree
# 예시
airflow list_tasks helloworld --tree
실행 테스트
execution date에 대한 Task 인스턴스를 실행해본다.
+ execution date에 대한 개념은 추후에 다시 정리해보려고 한다.
airflow test DAG_ID TASK_ID EXECUTION_DATE
# 에시
airflow test helloworld echo_hello_world 2022-05-31
정상적으로 실행된 것을 확인할 수 있다.
참고 문서
https://airflow.apache.org/docs/apache-airflow/stable/tutorial.html#backfill