Passwd

개요어떤 데이터 수집기의 실행 결과의 비율을 나타내는 파이 차트가 있다고 하자.성공, 실패, 보류 상태로 구분되어 있는데, 가시성을 위해 실패를 나타내는 색상을 다른 색으로 바꾸고 싶다. 방법을 알아보자. 참고 - 예시 데이터참고로 예시 차트를 만들기 위한 데이터는 아래와 같다. PostgreSQL에서 사용한 쿼리다.-- 랜덤으로 데이터 생성WITH base AS (SELECT array ['성공','실패','보류'] AS arr , trunc(random() * 3 + 1) AS random FROM generate_series(1, 100))SELECT arr[random] AS fruit , COUNT(*)FROM baseGROUP..

개요날짜 데이터가 포함된 데이터를 시각화한다면 자연스럽게 시간 선택기를 변경할 때마다 결과가 바뀌는 것을 기대할 것이다. 그러기 위해서는 데이터를 시간 선택기에 맞게 필터링한 후 시각화할 수 있어야 한다.이 글에서는 데이터를 시간 선택기와 연동하는 방법을 적어둔다. 매크로Grafana는 쿼리를 단순화할 수 있는 매크로를 몇 가지 지원하고 있는데, 대개 시간과 관련된 매크로이다. 그 중 시간 선택기와 관련이 있는 매크로는 다음과 같다.매크로설명$__timeFilter(dateColumn)지정된 열을 기준으로 시간 범위 필터를 적용한다.예 ) dateColumn BETWEEN FROM_UNIXTIME(1494410783) AND FROM_UNIXTIME(1494410983)$__timeFrom()현재 활..

개요데이터 소스를 추가했으면 이제 Grafana 대시보드를 구성할 준비는 완료되었다고 할 수 있다. 이 글에서는 대시보드를 생성해 보자. 대시보드 생성1. 대시보드 페이지 이동왼쪽 메뉴 > Dashboards로 이동한 뒤, 화면에 보이는 + Create dasboard 버튼을 클릭한다. 2. 대시보드 저장화면에서 Save dashboard를 클릭하면 바로 빈 대시보드가 저장된다. 다만 빈 대시보드는 의미가 없으니 다른 패널이나 대시보드를 임포트 하던지, 직접 시각화 패널을 구성하는지 등의 작업이 필요하겠다. 패널 추가대시보드 추가 방법만 덜렁 적기 민망하니 패널도 한 가지 정도 만들어본다. 1. 대시보드 화면에서 + Add visualization 클릭 2. 사용 데이터 소스 선택패널에서 사용할 ..

개요Grafana를 통해 데이터를 시각화하기 위해서는 시각화할 데이터가 필요하다. Grafana에서는 데이터 소스(Data Source)를 통해 시각화할 데이터에 접근할 수 있다. 여기서 데이터 소스란 시각화할 데이터를 저장하고 있는 외부 데이터 저장소 또는 시스템을 뜻하며, Grafana는 Prometheus, PostgreSQL, InfluxDB, MySQL 등 다양한 유형의 데이터 소스를 지원하고 있다.이번 글에서는 PostgreSQL 데이터 소스를 추가하는 방법을 적어둔다. 지원 데이터 소스 유형 확인하기먼저 사용하려는 유형의 데이터 소스를 Grafana가 지원하는지 확인할 필요가 있다.왼쪽 메뉴 > Connections > Add new connection으로 이동한다. Grafana는 플러..

개요업무에서 Grafana 대시보드 구성 업무를 담당하게 되어, Grafana 실행 환경을 구성할 필요가 생겼다. 테스트 환경이므로 간단하게 Docker Compose를 사용해 구성해보고자 한다. 방법을 적어둔다. 참고로 테스트 환경의 OS는 Ubuntu 24.04 LTS이며, 구성에 필요한 Docker나 Docker Compose는 이미 설치되어 있다고 가정한다. DockerCompose 프로젝트 구성먼저 적당한 경로에 데이터 저장을 위한 경로를 생성한다.mkdir /mnt/d/opt/grafanacd /mnt/d/opt/grafanamkdir /mnt/d/opt/grafana/data생성한 경로는 컨테이너에 마운트 해서 유지가 필요한 데이터를 저장하도록 할 것이다. 그리고 아래처럼 DockerCo..

개요2025.09.19-[PostgreSQL] EXPLAIN - 1에서 EXPLAIN에 대한 기초적인 부분을 살펴봤다. 이어서 이번 글에서는 다른 절이 추가됨에 따라 달라지는 실행 계획을 살펴보려고 한다. LIMITLIMIT을 추가하면 플래너는 모든 행을 검색할 필요가 없도록 수행할 작업을 변경한다. Index Scan 노드가 완료될 때까지 실행되는 것처럼 표시되지만 Limit 노드는 해당 행 중 3개 행만 검색한 후에 중지될 것이라 예상한다. 때문에 총비용도 그만큼 감소하게 된다.EXPLAINSELECT *FROM license_integratedWHERE collect_status = 'DONE'ORDER BY license_idLIMIT 3; JOIN - Nested LoopJoin의 경우에는..

개요데이터베이스에 쿼리를 실행할 때 기대하는 성능이 나오지 않는 경우가 있다. 대표적으로 데이터 조회에 너무 오랜 시간을 소모하는 상황인데, PostgreSQL의 경우 쿼리 실행 계획을 수립하고, 실행한다. 쿼리 구조와 데이터 속성에 맞는 계획을 선택해야 하기 때문에 데이터베이스는 좋은 계획을 선택하기 위한 플래너를 포함하고 있는데, EXPLAIN 명령을 사용하면 플래너가 생성한 쿼리 계 획을 확인할 수 있다. 필요시 이 계획을 바탕으로 쿼리 성능 개선을 시도해보아야 한다. EXPLAINEXPLAIN은 실행 계획을 확인할 쿼리문 맨 앞에 추가함으로써 사용한다. 기본적으로 텍스트로 결과를 반환한다.EXPLAIN [ ( option [, ...] ) ] statement쿼리 계획은 트리 구조로 되어 있고,..

개요Airflow 2부터는 TaskFlow API가 도입되어 데코레이터를 사용하면 Python 함수가 Airflow Task로 기능하게 된다. 다만 단점이라면 기존에는 테스트를 위해 Task가 호출하는 함수를 직접 실행할 수 있던 반면, 테코레이터를 사용하면 함수를 호출해도 동작을 확인할 수 없다.이번 글에서는 데코레이터를 적용한 함수를 직접 실행하는 방법을 적어둔다. 현상예로 들어 다음과 같이 데코레이터를 활용한 Dag 정의 파일이 있다고 하자.from datetime import datetime, timedeltafrom airflow.decorators import dag, taskdag_args = { "owner": "airflow", "retries": 1, "retry_de..

개요일반적으로 데이터베이스에서 조건에 따른 집계 함수를 사용할 땐 아래와 같은 모습으로 사용하게 된다.SELECT aggregate_function(*)FROM table_nameWHERE column = value그런데 PostgreSQL에서는 집계 함수에 조건을 적용하는데 사용되는 FILTER절을 지원한다. 어떤 개념인지 알아본다. FILTERFILTER는 집계 함수에 조건을 적용해 특정 조건에 맞는 데이터만 집계할 수 있도록 한다.SELECT aggregate_function(column) FILTER (WHERE condition)FROM table_name;WHERE절 대신 집계 함수 뒤에 FILTER 절과 함께 조건을 지정해준다. 윈도우 함수와 함께 사용할 수도 있는데, 이 경우에는 FIL..

개요2023.05.22-[MySQL] DB 내 모든 테이블 ROW 수 확인하기에서 MySQL에서 데이터베이스의 테이블 행 수를 확인하는 방법을 적었었다. 이번 글에서는 기록 목적으로 PostgreSQL에서 데이터베이스 테이블 행 수를 확인하는 방법을 적어둔다. pg_stat_all_tablesPostgreSQL은 서버 운영 상태에 대한 정보를 수집하거나 보고하기 위한 작업을 위한 통계 수집기(statistics collectors)가 동작한다. 수집기는 인덱스의 디스크 블록 단위, 개별 행 단위 접근 회수, 각 테이블에 저장되어 있는 총 행 수, 각 테이블에 대한 VACUUM 작업, ANALYZE 작업에 대한 정보 등을 수집한다. 수집된 통계 정보는 여러 뷰에서 확인할 수 있는데, 그 중 테이블 행 수..