Passwd

CDC CDC (Change Data Capture) 란 데이터베이스에서 발생하는 데이터 변경(삽입, 수정, 삭제)을 실시간 또는 준실시간으로 감지하고 추적하여 다른 시스템으로 전달하는 기술 및 데이터 통합 패턴을 의미한다.전체 데이터 대신 변경된 데이터만 처리하기 때문에 시스템 부하를 줄이면서 데이터의 실시간 동기화, 복제, 분석 등에 활용할 수 있어 데이터 마이그레이션, 실시간 DW 구축 등에 필수적이다. 방법론CDC를 구현하는 방법은 여러 가지가 존재한다. 로그 기반 변경 데이터 캡처(Log-based Change Data Capture)데이터베이스가 변경 사항을 기록하는 트랜잭션 로그를 사용해 변경 사항을 추적하여 처리한다.로그 기반 방식은 데이터베이스 처리 속도가 느려지면 안 되는 시스템에 적..

개요데이터베이스 작업을 하다 보면 안전 상 테이블을 백업해 두고 작업하거나 다른 데이터베이스로 넘겨야 할 때가 발생한다. 기존에는 테이블을 CSV 형식 등으로 내려받아 INSERT 하는 등의 방법으로 진행했는데, DataGrip은 테이블 복사 기능을 제공하고 있어서 보다 쉽게 작업을 수행할 수 있다.방법을 적어둔다. 방법1. 복사할 테이블 우클릭 > 가져오기/내보내기 > 다음으로 테이블 복사 선택 2. 대상 스키마 선택이 글에서는 같은 데이터베이스, 같은 스키마 내로 복사하도록 설정했는데 선택할 수 있는 값을 보면 다른 데이터베이스, 다른 스키마로도 복사할 수 있는 것 같다. 3. 테이블 명 지정다른 스키마로 복사하면 테이블명을 유지하는데, 그렇지 않으면 자동으로 {테이블명}_2로 변경되도록 하는 것 ..

개요데이터베이스 학습 목적으로 더미 데이터를 만들 때, 무작위로 데이터를 생성하거나 선택할 난수를 활용할 때가 많다. 관련하여 PostgreSQL에서 난수를 생성하는 RANDOM 함수의 사용과 활용법을 적어둔다. RANDOMRANDOM 함수는 난수 값을 발생시키는데, 0부터 1 사이의 난수 값을 반환한다.RANDOM()-- 예시SELECT random();사용법 자체는 아주 단순하다. 이제 이 값을 활용한 방법을 몇 가지 적어둔다. 활용법1. 0 ~ N 사이의 임의 정수random 값에 N을 곱한 후 소수점 미만의 값을 버리면, 0부터 N-1까지의 값 사이의 값을 얻을 수 있다.floor(random() * N);-- 예시SELECT floor(random() * 10);위의 예시는 0부터 9 사..

개요일반적으로 데이터베이스에서 조건에 따른 집계 함수를 사용할 땐 아래와 같은 모습으로 사용하게 된다.SELECT aggregate_function(*)FROM table_nameWHERE column = value그런데 PostgreSQL에서는 집계 함수에 조건을 적용하는데 사용되는 FILTER절을 지원한다. 어떤 개념인지 알아본다. FILTERFILTER는 집계 함수에 조건을 적용해 특정 조건에 맞는 데이터만 집계할 수 있도록 한다.SELECT aggregate_function(column) FILTER (WHERE condition)FROM table_name;WHERE절 대신 집계 함수 뒤에 FILTER 절과 함께 조건을 지정해준다. 윈도우 함수와 함께 사용할 수도 있는데, 이 경우에는 FIL..

개요2023.05.22-[MySQL] DB 내 모든 테이블 ROW 수 확인하기에서 MySQL에서 데이터베이스의 테이블 행 수를 확인하는 방법을 적었었다. 이번 글에서는 기록 목적으로 PostgreSQL에서 데이터베이스 테이블 행 수를 확인하는 방법을 적어둔다. pg_stat_all_tablesPostgreSQL은 서버 운영 상태에 대한 정보를 수집하거나 보고하기 위한 작업을 위한 통계 수집기(statistics collectors)가 동작한다. 수집기는 인덱스의 디스크 블록 단위, 개별 행 단위 접근 회수, 각 테이블에 저장되어 있는 총 행 수, 각 테이블에 대한 VACUUM 작업, ANALYZE 작업에 대한 정보 등을 수집한다. 수집된 통계 정보는 여러 뷰에서 확인할 수 있는데, 그 중 테이블 행 수..

개요프로그래밍 방식으로 INSERT나 UPDATE를 사용하면 쿼리 작업으로 인해 얼마나 많은 레코드 영향을 받았는지 비교적 쉽게 확인할 수 있다. 하지만 조건에 따라 수행하는 작업이 달라지는 UPSERT의 경우에는 각 작업을 수행한 레코드 수를 확인하기가 여의치 않은데, 구글링을 해보니 적당한 방법이 있었다.정리해 둔다. XMAX의 용도2025.09.04-[PostgreSQL] MVCC - XMIN/XMAX에서 잠깐 다뤘던 XMAX는 크게 두 가지 용도로 사용된다.1. 데이터 행의 버전인 튜플을 삭제하거나 갱신한 트랜잭션의 ID를 기록한다.2. 행 lock을 저장하는 데 사용한다. PostgreSQL에서는 lock 테이블의 오버플로우를 피하기 위해 행 lock이 튜플에 저장된다. 하나의 트랜잭션만 행에..

개요MVCC는 예전에 회사에서 데이터베이스 관련 교육을 할 때 접했던 개념이었는데, 최근 PostgreSQL 쿼리에서 관련 키워드를 보게 되어 다시 들쳐보게 되었다. PostgreSQL의 주요 동작 방식과 연관이 있으니 잘 정리해 보자. MVCCMVCC란 다중 버전 동시서 제어(Multi Version Concurrency Control)의 줄임말로, 과거부터 현재까지의 다양하 버전 데이터에 대한 관리와 제공이 가능하지를 나타내는 DBMS의 필수 기능 중 하나이다. 시시각각 변경되고 있는 데이터 중에서 사용자가 데이터를 조회한 시점의 데이터를 정확하게 제공하는지를 나타내는 것으로, DBMS 마다 다르게 구현하고 있다. PostgreSQL - MVCC 구현과 XMAX/XMINPostgreSQL은 아래와..

개요이 블로그에서 UPSERT에 대해서 적게나마 다뤘는데, PostgreSQL도 MySQL처럼 UPSERT를 지원한다. 다만 문법에 조금 차이가 있는데, 이번 글에서는 PostgreSQL에서 UPSERT를 수행하는 방법을 적어둔다. INSERT ~ ON CONFLICTON CONFLICT 절은 UNIQUE 또는 EXCLUSION 제약 위배를 해소하기 위한 대체 동작을 지정한다.INSERT INTO table_name (column1, column2, ...)VALUES (value1, value2, ...)ON CONFLICT (conflict_target)conflict_actionINSERT 하는 행에 대해 conflict_target에 지정한 제약 조건이나 인덱스가 위배되었을 때 conflict_..

개요여러 데이터베이스 엔진과 연동하는 라이브러리는 대체로 여러 매개변수를 매핑할 수 있게 하는 placeholder를 지원한다. 이는 쿼리를 반복해서 실행할 때 유용하지만 실제 실행되는 쿼리를 한눈에 확인할 수 없다는 불편함이 있는데, 알아보니 execute 함수로 실행되는 SQL문을 확인할 수 있는 방법이 있다고 해서 적어둔다. psycopg2.cursor.mogrifymogrify 함수는 값을 자리대체자에 바인딩하여 SQL 쿼리 문자열을 포매팅하는 방법으로, 이는 cursor.execute 또는 유사한 메서드가 데이터베이스로 전송하는 문자열과 일치한다. 반환 문자열은 항상 바이트 문자열이다. 사용 예시import psycopg2sql = f"""\SELECT *FROM employeesWHERE S..

개요업무에서 PostgreSQL을 사용하게 되었는데, 쿼리문에서 RETURNING이라는 모르는 키워드를 확인해서 글을 작성한다. RETURNINGPostgreSQL의 RETURNING 절은 INSERT, UPDATE, DELETE와 같은 연산을 실행한 후 데이터를 가져올 수 있도록 한다. RETURNING을 사용하면 수정된 데이터를 수집하기 위해 추가적인 쿼리를 수행할 필요가 없고, 수정된 행을 안정적으로 식별할 수 있다. 때문에 성능 최적화, 코드 정리, 효율적인 데이터베이스 상호작용을 달성할 수 있다.일반적으로는 대상 테이블의 모든 열을 순서대로 선택하는 RETURINTG *을 사용한다.INSERT INTO users (firstname, lastname) VALUES ('Joe', 'Cool'..