Passwd

개요블로그 내에서 AWS EventBridge를 사용해 S3와 SQS를 연동하는 방법 자체는 다뤘는데, 정작 EventBridge가 어떤 서비스인지에 대해서는 다루지 못했다. 때문에 이번 글에서 AWS EventBridge와 관련 개념에 대해서 정리한다. AWS EventBridge이벤트를 사용해 애플리케이션 구성 요소를 연결하는 서버리스 서비스이벤트를 내보내고 응답함으로써 함께 동작하는, 느슨하게 결합된 소프트웨어 시스템인 이벤트 기반 아키텍쳐를 구축하는 데 사용한다. 이벤트가 발생할 때마다 또는 스케줄 설정에 따라 작업을 수행한다. 전송 방식EventBridge는 크게 이벤트 버스와 파이프라인 전송 방법을 사용한다. 이벤트 버스이벤트를 수신해 0개 이상의 대상에 전달하는 라우터자체 개발 애플리케..

개요이 블로그에서 S3와 SQS를 연동하는 방법으로 S3의 Event Notification을 사용하는 방법과 AWS EventBridge를 사용하는 방법을 다뤄보았다. S3 Event Notification의 제한 사항으로 인해 연동 방식을 EventBridge로 변경하고자 하는데, S3에 두 연동 방법을 동시에 사용할 수 있는지 확인해 본다. SQS 액세스 정책 변경기존에 EventBridge 연동 테스트를 위해 생성했던 SQS의 액세스 정책은 아래와 같은 기본값이었다.{ "Version": "2012-10-17", "Id": "__default_policy_ID", "Statement": [ { "Sid": "__owner_statement", "Effect": "Al..

개요2025.08.04-[AWS] EventBridge를 사용한 S3/SQS 연동에서 AWS EventBridge를 사용해 S3에 저장되는 데이터를 SQS에 전달하는 방법을 살펴보았다. 다만 앞선 글에서는 S3 버킷 전체에서 발생하는 이벤트를 모두 SQS로 전달했는데, 이번 글에서는 특정 prefix에 대해서만 전달하는 방법을 알아보려고 한다. 규칙 편집규칙의 이벤트 패턴을 아래와 같이 편집한다. object.key.prefix 부분이 S3 prefix를 지정하는 설정이다.아래 패턴은 prefix_test_1 이라는 경로에 저장되는 파일만 SQS로 전달하는 예시이다.{ "source": ["aws.s3"], "detail-type": ["Object Created"], "detail": { ..

개요2022.07.08-[S3/SQS] S3에 생성된 데이터를 SQS에 쌓기에서 S3의 이벤트 알림 기능을 사용해 S3에 저장되는 파일 정보를 SQS에 전달했다. 하지만 S3 이벤트 알림은 치명적인 한계가 있었는데 바로 S3 버킷 당 설정할 수 있는 이벤트 알림의 개수가 100개로 제한되어 있다는 점이다.최근 S3에 저장되는 데이터 중 SQS로 연동해야 하는 prefix가 증가하면서 이 제한사항에 대한 타개책이 필요해졌는데, 확인해 보니 EventBridge라는 서비스로도 S3와 SQS를 연동할 수 있는 것 같다.이번 글에서 간단하게 연동 방법부터 알아보자. SQS 생성먼저 이벤트를 수신할 대상인 SQS부터 생성한다.일단 SQS는 이름만 지정하고 액세스 정책을 포함한 다른 항목은 전부 기본값으로 설정했..

개요최근 AWS 콘솔에 로그인했더니 아래와 같은 알림이 생긴 것을 발견했다. 대충 내용을 보면 멀티 세션 지원이라는 기능을 통해 같은 웹 브라우저에서 여러 개의 AWS 계정에 로그인할 수 있다는 내용 같았다. 업무에서 AWS 계정을 여러 개 사용하고 있는데, 기본적으로 브라우저 하나에 하나의 AWS 계정에 접속할 수 있기 때문에 동시 접속이 필요한 경우에는 시크릿 창을 활용해야 하는 등의 불편함을 느끼고 있었다. 개인적으로 환영할 만한 개선 사항인 것 같아 바로 사용 방법을 알아보았다.   멀티 세션멀티 세션 기능은 단일 웹 브라우저에서 최대 5개의 계정에 동시 로그인할 수 있게 해 준다. 아예 다른 계정이나, 같은 계정의 루트 사용자, IAM, 역할이 될 수 있다.사용 방법은 다음과 같다. 1. 콘솔 ..

개요최근 S3 버킷 정책에서 ACL 관련 권한을 조정해야 하는 일이 있었는데, 조금 더 보니 ACL 관련 설정을 할 수 있는 ACL 항목이 따로 있는 것을 발견했다.버킷 정책의 ACL 권한과 ACL 항목은 어떤 부분에서 차이가 있을까? 정리해둔다.   ACLACL이란 Access Control List의 약자로, 말 그대로 접근 제어 목록이다. AWS S3에서의 ACL은 버킷과 객체에 대한 접근을 관리하는 리소스 기반 옵션으로, 접근을 허용할 AWS 계정이나 그룹, 접근 유형을 정의한다.ACL 사용 시 S3가 리소스에 대한 요청을 수신하면, S3는 ACL을 확인해 요청자가 필요한 접근 권한을 보유하고 있는지 판단한다. 이 때 요청자는 일반 사용자, 계정 소유자, 리소스 그룹 등이 될 수 있다.버킷에 대한..

개요2023.07.12-[AWS] S3 - 멀티파트 업로드/다운로드에서 정리한 바에 의하면 aws s3는 sync, cp 명령어를 사용할 때 일정 용량 이상의 객체에 대해서 자동으로 멀티파트 업로드를 사용하도록 되어 있다. 하지만 멀티파트 업로드가 항상 성공적으로 완료되는 것은 아닌데, 멀티파트 업로드 미완료로 인해 객체의 일부만 S3에 업로드된 경우에는 S3에서 객체를 생성하지 않기 때문에 객체는 확인할 수 없고 용량에 의해 비용을 청구받는 상태가 될 수 있다.이번 글에서는 미완료 멀티파트 업로드 데이터를 모니터링하고, 삭제하는 방법에 대해서 적어둔다.  미완료 멀티파트 업로드 확인미완료 멀티파트 업로드 데이터는 S3 스토리지 렌즈 기능을 사용하여 확인할 수 있다.S3 스토리지 렌즈의 추세 및 배포 항..

개요2022.04.24-[S3] 수명 주기(Life Cycle) 적용/확인에서 S3 비용 및 데이터 수명 주기 최적화를 위해 S3 수명 주기 규칙을 적용했었다. S3는 버킷 당 최대 1000개의 수명 주기 규칙을 적용할 수 있는데, 이번 글에서는 규칙의 대상이 서로 겹치는 등의 경우에 어떻게 처리되는지를 적어두려고 한다.  기본 적용 규칙일반적으로 S3 수명 주기는 비용을 최적화하는 방향으로 적용된다. 예로 들어 두 개의 객체 만료 정책이 서로 겹치는 경우 더 짧은 만료 정책을 적용하며, 두 개의 스토리지 클래스 전환 정책이 서로 겹치는 경우 더 저렴한 스토리지 클래스로 전환하는 규칙을 적용한다.다만, S3 Intelligent-Tiering 전환 정책은 S3 Glacier Flexible Retriev..

현상AWS 환경에서 매 시간마다 배치성 작업을 수행시키고 있다. 배치성 작업은 돌아갈 때마다 새 EC2를 생성하여 동작하고 EC2를 종료시키기를 반복하는데, 최근 EC2를 생성하는 과정에서 거의 매일 아래와 같은 에러가 발생하면서 실패하고 있었다.botocore.exceptions.ClientError: An error occurred (RequestLimitExceeded) when calling the RunInstances operation (reached max retries: 4): Request limit exceeded.매번 수동으로 Ec2를 다시 생성해왔는데, 현상을 좀 해소해보려고 한다.  API throttlingAWS EC2는 원활한 서비스 제공을 위해 리전 별로 AWS 계정에 대한 ..

MWAA란? Amazon Managed Workflows for Apache Airflow란 Apache Airflow에 대한 AWS 관리형 오케스트레이션 서비스로 MWAA라고 칭해진다. MWAA는 관리형 서비스이기 때문에 확장성, 가용성 등 인프라 관리에 대한 고민 없이 Airflow를 사용할 수 있다. 즉, 요구 리소스에 맞춰 워크플로우 용량을 확장하므로 AWS 클라우드 환경에서 데이터 파이프라인을 대규모를 설정하고 운영하는데 적합하다. 이 글에서는 Apache Airflow에 대한 기본 지식은 있다고 가정하고 작성했다. 장점 MWAA를 사용하면 다음과 같은 장점을 가질 수 있다. - 자동 Airflow 설정 : MWAA를 사용하면 환경 생성 시 필요한 Airflow 버전을 선택하여 환경을 설정할 수..