Passwd

  • 홈
  • 태그
  • 글쓰기
  • 관리

2025/06/16 1

[Airflow] DagFileProcessorManager (PID=) last sent a heartbeat 51.22 seconds ago! Restarting it

현상업무를 하던 중, Dag 파싱이 정상적으로 이루어지지 않는 현상을 확인했다. Airflow Web UI에서 Dag의 코드를 확인하면 언제 파싱이 이루어졌는지 확인할 수 있는데, 확인 당시 기준 2일 전에 마지막으로 Dag 파싱이 이뤄지고 더 이상 파싱이 이뤄지지 않는 상태였다.원인을 파악하고 문제를 해결한 이력을 적어둔다. 원인먼저 Dag 파싱을 담당하는 DagFileProcessor의 로그가 존재하는지 확인했는데, 각 Dag 정의 파일의 파싱 이력 정도만 찾고 별도의 로그 파일은 확인하지 못했다.하지만 스케쥴러 로그 파일에서 아래와 같은 로그가 반복적으로 발생하고 있는 것을 확인했다.DagFileProcessorManager (PID=) last sent a heartbeat 51.22 seco..

Apache Airflow 2025.06.16
1
더보기
프로필사진

아무튼 개발자. 모르는 걸 적습니다.

  • 분류 전체보기 N
    • 자료구조
    • Algorithm
      • 모두의 알고리즘 with Python
      • 문제 풀이
    • Apache Airflow
      • 삽질
    • Apache Nifi
    • Apache Superset
    • AWS
    • Azure
    • Database N
    • Docker
    • Git | GitLab
    • Grafana
    • Hadoop EcoSystem
    • R
    • Java
    • Jenkins N
    • Kubernetes
      • 삽질
      • Udemy - CKAD with Tests
      • KoudKloud - CKAD with Tests
    • Python
      • NumPy | Pandas
    • Linux
      • Shell Script
    • Snowflake
    • Trino
    • 기타
      • Python → Webhook
      • Redmine on AWS
    • Windows

최근글

인기글

공지사항

Archives

Tag

Trino, awscli, python, Git, 프로그래머스, 오블완, AWS, BOJ, airflow, superset, Azure, jenkins, Linux, gitlab, 티스토리챌린지, SH, Docker, mysql, pandas, k8s,

Calendar

«   2025/06   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30
250x250

Copyright © Kakao Corp. All rights reserved.

  • 알고리즘

티스토리툴바