Passwd

개요기존에는 AWS의 데이터베이스 서비스 중 RDS를 주로 사용해왔는데, 현재는 Aurora도 사용을 하고 있다. Aurora가 보다 AWS에 친화적인 서비스라는 건 알고 있지만 다른 차이점은 알고 있지않아 정리해보려고 한다. AWS AuroraAWS Aurora는 데이터베이스 서비스 중 하나로 클라우드 네이티브 기반의 고성능, 고확장성 데이터베이스 서비스로 설계되어 MySQL, PostgreSQL을 제공한다. RDS와 비교하면 최대 3배의 read replicas와 MySQL 대비 5배, PostgreSQL 대비 3배의 처리량을 제공한다.RDS가 제공하는 모든 관리 기능 뿐만 아니라 서버리스 서비스도 제공하고 있다.Aurora는 기존의 데이터베이스 엔진을 커스트마이징해 AWS에 최적화한 게 특징으로..

개요2025.12.17-[Karpenter] 필요 구성 요소에서 Karpenter에서 관리할 노드와 관련된 구성 요소를 살펴보았다. 그리고 Karpenter는 구성 설정한 노드를 생성하고 삭제하며 포드를 배치하는 등의 작업을 통해 노드 관리 작업을 수행한다. 이번 글에서는 Kapenter가 노드와 포드를 스케쥴링하는 방식과 정리하는 방식에 대해서 간단히 정리해두려고 한다. 스케쥴링Karpenter는 어떤 노드에 어떤 포드를 배치할지 결정하는 쿠버네티스 스케쥴링을 확장해 필요한 노드를 자동으로 생성한다. 기존 노드에 스케쥴링을 수행하는 쿠버네티스와 달리 Karpenter는 필요하면 새 노드를 생성하여 배치한다.핵심포드 Status PendingKarpenter가 Pod 요구사항 분석NodePool 정책..

개요2025.12.12-[AWS/k8s] Karpenter란 에서 Karpenter의 역할과 동작 원리 등을 살펴봤다. 직접 해보지는 못 했지만…… 설치 방법까지 나름 정리를 했으니 이번에는 구성이 필요한 요소, 개념에 대해서 적어두려고 한다. NodeClassesAWS 전용 설정(이미지, IAM Role, 보안 그룹, 서브넷 등)을 구성할 수 있게 한다.Karpenter는 필요한 노드를 정의하는 Provisioner와 필요한 노드를 만드는 방식을 정의한 NodeClass를 사용해 노드를 생성한다.Provisioner : CPU 4개, 메모리 16GB짜리 노드 필요NodeClass : AWS에서 t3.large 타입으로, 이 서브넷에, 이 IAM Role을 사용한다. NodePoolsProvision..

개요언젠가 운영하던 Airflow을 EKS 환경으로 이전하는 것을 검토한 적이 있었다. 당시 CeleryExecutor를 사용해 worker의 ec2 인스턴스 타입을 다양하게 사용하고 있어 요구 사항에 맞는 솔루션을 찾다가 Karpenter의 존재에 대해 알게되었다.다만, 실제로 도입하지는 않아 따로 공부한 적은 없었는데 새로 운영하게된 Airflow에서 사용하고 있어 공부해두려고 한다. Karpenter란?AWS로 구축된 유연한 오픈 소스 고성능 Kubernetes 클러스터 오토스케일러.Apache License 2.0 라이선스인 오픈 소스 프로젝트다.애플리케이션 로드 변화에 대응해 적절한 크기의 컴퓨팅 리소스를 신속하게 실행함으로써 애플리케이션의 가용성과 클러스터 효율성을 개선한다. 애플리케이션 요..

개요AWS Aurora도 RDS와 동일하게 콘솔에서 엔드포인트를 확인할 수 있는데, 이상하게 클러스터 엔드포인트는 잘 확인되지 않는 상태다.웹에서 확인이 안 되니 CLI로 확인하는 방법을 적어둔다. aws rds describe-db-clusters데이터베이스 클러스터 정보는 aws rds describe-db-clusters 명령어로 확인할 수 있다.aws rds describe-db-clusters # --db-cluster-identifier : 데이터베이스 클러스터 식별자/이름 출력 예시){ "DBClusters": [ { "AllocatedStorage": 1, "AvailabilityZones": [ "us-..

개요블로그 내에서 AWS EventBridge를 사용해 S3와 SQS를 연동하는 방법 자체는 다뤘는데, 정작 EventBridge가 어떤 서비스인지에 대해서는 다루지 못했다. 때문에 이번 글에서 AWS EventBridge와 관련 개념에 대해서 정리한다. AWS EventBridge이벤트를 사용해 애플리케이션 구성 요소를 연결하는 서버리스 서비스이벤트를 내보내고 응답함으로써 함께 동작하는, 느슨하게 결합된 소프트웨어 시스템인 이벤트 기반 아키텍쳐를 구축하는 데 사용한다. 이벤트가 발생할 때마다 또는 스케줄 설정에 따라 작업을 수행한다. 전송 방식EventBridge는 크게 이벤트 버스와 파이프라인 전송 방법을 사용한다. 이벤트 버스이벤트를 수신해 0개 이상의 대상에 전달하는 라우터자체 개발 애플리케..

개요이 블로그에서 S3와 SQS를 연동하는 방법으로 S3의 Event Notification을 사용하는 방법과 AWS EventBridge를 사용하는 방법을 다뤄보았다. S3 Event Notification의 제한 사항으로 인해 연동 방식을 EventBridge로 변경하고자 하는데, S3에 두 연동 방법을 동시에 사용할 수 있는지 확인해 본다. SQS 액세스 정책 변경기존에 EventBridge 연동 테스트를 위해 생성했던 SQS의 액세스 정책은 아래와 같은 기본값이었다.{ "Version": "2012-10-17", "Id": "__default_policy_ID", "Statement": [ { "Sid": "__owner_statement", "Effect": "Al..

개요2025.08.04-[AWS] EventBridge를 사용한 S3/SQS 연동에서 AWS EventBridge를 사용해 S3에 저장되는 데이터를 SQS에 전달하는 방법을 살펴보았다. 다만 앞선 글에서는 S3 버킷 전체에서 발생하는 이벤트를 모두 SQS로 전달했는데, 이번 글에서는 특정 prefix에 대해서만 전달하는 방법을 알아보려고 한다. 규칙 편집규칙의 이벤트 패턴을 아래와 같이 편집한다. object.key.prefix 부분이 S3 prefix를 지정하는 설정이다.아래 패턴은 prefix_test_1 이라는 경로에 저장되는 파일만 SQS로 전달하는 예시이다.{ "source": ["aws.s3"], "detail-type": ["Object Created"], "detail": { ..

개요2022.07.08-[S3/SQS] S3에 생성된 데이터를 SQS에 쌓기에서 S3의 이벤트 알림 기능을 사용해 S3에 저장되는 파일 정보를 SQS에 전달했다. 하지만 S3 이벤트 알림은 치명적인 한계가 있었는데 바로 S3 버킷 당 설정할 수 있는 이벤트 알림의 개수가 100개로 제한되어 있다는 점이다.최근 S3에 저장되는 데이터 중 SQS로 연동해야 하는 prefix가 증가하면서 이 제한사항에 대한 타개책이 필요해졌는데, 확인해 보니 EventBridge라는 서비스로도 S3와 SQS를 연동할 수 있는 것 같다.이번 글에서 간단하게 연동 방법부터 알아보자. SQS 생성먼저 이벤트를 수신할 대상인 SQS부터 생성한다.일단 SQS는 이름만 지정하고 액세스 정책을 포함한 다른 항목은 전부 기본값으로 설정했..

개요최근 AWS 콘솔에 로그인했더니 아래와 같은 알림이 생긴 것을 발견했다. 대충 내용을 보면 멀티 세션 지원이라는 기능을 통해 같은 웹 브라우저에서 여러 개의 AWS 계정에 로그인할 수 있다는 내용 같았다. 업무에서 AWS 계정을 여러 개 사용하고 있는데, 기본적으로 브라우저 하나에 하나의 AWS 계정에 접속할 수 있기 때문에 동시 접속이 필요한 경우에는 시크릿 창을 활용해야 하는 등의 불편함을 느끼고 있었다. 개인적으로 환영할 만한 개선 사항인 것 같아 바로 사용 방법을 알아보았다.   멀티 세션멀티 세션 기능은 단일 웹 브라우저에서 최대 5개의 계정에 동시 로그인할 수 있게 해 준다. 아예 다른 계정이나, 같은 계정의 루트 사용자, IAM, 역할이 될 수 있다.사용 방법은 다음과 같다. 1. 콘솔 ..