Apache Airflow

[Airflow/Celery Flower] worker autoscale 조정

비번변경 2024. 1. 12. 15:14

개요

2023.07.19 - [Airflow] Concurrency 설정에서 Airflow, Celery Worker의 동시성에 대한 설정들을 확인해 보았다.

이 글에서는 Celery Flower에서 관련 설정을 확인하고 조정하는 방법을 적어둔다.

 

 

설정 확인

Celery Worker의 Concurrency, Autoscale과 같은 정보는 Pool 탭에서 확인할 수 있다.

 

 

 

worker autoscale 설정 조정

Pool 탭 오른편에서 볼 수 있는 Pool size control의 Min/Max autoscale로 worker autoscale 설정을 조정할 수 있다. 

원하는 설정을 입력 후 Apply 버튼을 누르면, 

상단에 반영 성공이라는 메세지를 확인할 수 있다. 그리고 화면을 새로고침 하면 변경된 설정을 확인할 수 있다.

 

 

참고 문서

https://airflow.apache.org/docs/apache-airflow-providers-celery/stable/configurations-ref.html#worker-autoscale

https://docs.celeryq.dev/en/latest/reference/celery.bin.worker.html#cmdoption-celery-worker-autoscale