Passwd

개요Kafka, Debezium을 이용해서 CDC를 구현하고자 커넥터를 생성했는데 아래와 같은 오류가 발생하면서 커넥터가 정상적으로 동작하지 않았다.아래 내용은 커넥터의 status를 확인한 결과다.{ "name": "etl-metadata-connector", "connector": { "state": "RUNNING", "worker_id": "172.21.0.3:8083" }, "tasks": [ { "id": 0, "state": "FAILED", "worker_id": "172.21.0.3:8083", "trace": "io.debezium.DebeziumException: Creation of replication slot failed..

개요현재 담당하고 있는 데이터 파이프라인에서는 Kafka에 debezium(데베지움)이라는 솔루션을 사용해 데이터베이스에 발생한 변경 사항을 실시간으로 처리할 수 있도록 구성해 둔 상태다. 이번 글에서는 debezium에 대해서 간단히 정리해두려고 한다. debeziumdebezium이란, 데이터베이스의 변경 사항을 캡쳐해캡처해 애플리케이션이 변경 사항을 확인하고 대응할 수 있도록 하는 분산 서비스 집합으로 각 데이터베이스 테이블의 모든 행 수준 변경 사항을 변경 이벤트 스트림에 기록한다. 쉽게 이해하기 좋은 말로 설명하면 데이터베이스에서 INSERT, UPDATE, DELETE 등이 발생하는 경우 이를 감지하고 그 변경 내용을 캡처해서 이벤트로 변환하는 도구이다. 즉, CDC를 구현한다고 정리할 수 ..

개요Apache Kafka는 대표적인 데이터 처리 플랫폼이지만, 클러스터 상태와 데이터 흐름을 CLI로 파악하기 때문에 직관적으로 상태를 확인하기 어렵다는 단점이 있었다. 이러한 번거로움을 해결하고자 등장한 UI for Apache Kafka는 Provectus가 개발한 오픈소스 웹 인터페이스로, 직관적인 UX와 강력한 기능 덕분에 전 세계적으로 가장 널리 사용되는 카프카 관리 도구로 자리 잡았다.이번 글에서는 UI for Apache Kafka에 대해서 소개하려고 한다. ⚠️ 참고UI for Apache Kafk는 현재 더 이상 유지보수되고 있지 않는 상태로, 필요한 경우 포크 버전인 Kafbat UI 사용을 고려할 필요가 있을 것 같다. UI for Apache Kafka UI for Apache ..

개요2025.08.21-[Apache Kafka] 개념에서 카프라에 대한 대략적인 개념들을 살펴보았는데, 실제 업무 환경에서는 Confluent Kafka를 사용하고 있어 구조 파악을 하는데 어려움을 겪였다. 이번 글에서는 두 솔루션에 대한 비교를 좀 해보면서 개념을 잡아보려고 한다. Apache KafkaApache Kafka는 LinkedIn에서 개발하여 Apache Software Foundation에 기부한 오픈소스 프로젝트다. 현재 데이터 스트리밍 파이프라인의 사실상 표준(De facto Standard)으로 자리 잡았다.Kafka는 '빠르고, 확장 가능하며, 튼튼한' 데이터 이동을 목표로 한다.Pub/Sub 모델: 생산자(Producer)와 소비자(Consumer)를 분리하여 시스템 간 결합..

개요2025.08.21-[Apache Kafka] 개념에서 아주 간단하게 kafka에 대해서 알아보았는데, 한 마디로 정리하면 이벤트 기반 아키텍처를 구성하기 위한 도구 중 하나라고 보인다. 저번 글에서는 개요 정도만 확인했으니 이번 글에서는 공식 페이지의 QuickStart 문서를 참고해서 간단하게 설치하고 사용해보자. 설치kafka는 여러 가지 설치 방법을 제공하고 있는데, 가장 기본적으로는 릴리즈 파일을 다운로드하는 방식이다. 하지만 자바를 설치하기가 번거롭고 테스트 환경이기 때문에 간단하게 도커로 진행하고자 한다. 참고로 실행 환경은 Killercoda Ubuntu 24.04이다. 도커를 활용하기 때문에 이미지를 pull 받는 것으로 설치는 완료되었다고 할 수 있다.docker pull apac..

개요업무 중 Apache Kafka를 사용하게 되어 Kafka란 대체 무엇인지 정리해 본다. 이벤트 스트리밍Kafka를 논하기 전에 먼저 이벤트 스트리밍에 대해서 적어둔다. 데이터베이스, 센서, 모바일 기기, 클라우드 서비스, 소프트웨어 애플리케이션과 같은 이벤트 소스에서 실시간으로 데이터를 이벤트 스트림 형태로 수집하고, 수집한 이벤트 스트립을 검색할 수 있도록 저장하며, 실시간 및 소급적으로 조작, 처리 및 대응하고, 필요에 따라 다양한 목적지 기술로 라우팅 하는 방식을 말한다.데이터의 지속적인 흐름과 해석을 보장하며 적절한 정보가 직절한 시간과 장소에 제공되도록 한다. 이벤트 스트리밍은 아래와 같이 다양한 분야에서 사용되고 있다.- 증권 거래소, 은행, 보험 등에서의 실시간 결제 및 금융 거래 처..