Passwd

개요 시간마다 S3에 적재되는 데이터를 지속적으로 처리하고자 한다. 이를 위해 S3 이벤트 알림 옵션을 사용하여 SQS에 데이터를 전달하는 방식으로 구성하려고 한다. 구성 방법을 정리해둔다. SQS 생성 사용할 SQS를 생성한다. 1. AWS Console > SQS > 대기열 생성 클릭 2. SQS 설정 유형 : 사용 목적에 맞게 Standard 또는 FIFO를 선택한다. 여기서는 Standard로 사용한다. Name : SQS의 이름이다. 구성 : 큐가 메시지를 어떻게 처리할 지에 대한 설정을 구성한다. 여기서는 기본값으로 사용한다. 표시 제한 시간 : 대기열에서 수신한 메시지가 다른 메시지 소비자에게 보이지 않게 되는 시간 메시지 보존 기간 : 큐에 저장된 메시지의 보존 기간. 설정한 기간만큼 보관..

개요 S3 버킷의 특정 경로 아래에 존재하는 모든 파일의 개수와 용량을 확인하고 싶다. 세 가지 정도로 방법을 정리해둔다. AWS Concole 1. 확인하고자 하는 경로를 선택하고 작업 > 총 크기 계산을 클릭한다. 2. 결과 화면에서 지정한 경로의 총 객체 수와 크기를 확인할 수 있다. CloudBerry Explorer for Amazon s3 1. 클라우드 베리에서 정보를 확인하고자 하는 버킷/경로를 우클릭한 후, Properties를 클릭한다. 2. 결과에서 총 파일 수와 경로 수, 그리고 크기를 확인할 수 있다. 단, 여러 경로를 한꺼번에 확인할 수는 없는 것으로 보인다. AWS CLI AWS CLI의 s3 ls 옵션 중 --summarize은 객체 수와 총크기를 표시하는 옵션이다. 특정 경로..

Simple Queue Service 해야 할 일을 나중에 처리하거나 다른 시스템이 처리할 수 있도록 하기 위한 비동기 메시징 서비스 분산 메시지 큐 서비스 메시지는 처리해야 할 업무에 대한 todo 리스트와 같다. 이때 SQS는 메시지 저장소라고 할 수 있다. 용도 SQS는 공통 생산자-소비자 문제나 생산자-소비자 간 연결에서 발생하는 문제를 해결하는 큰 규모의 호스팅 메시지 큐를 제공하기 위해 고안되었다. 일반적으로 각 애플리케이션이 가지는 coupling을 끊어주는 역할을 한다. Lambda와 EC2간 강한 결합도 Lambda와 EC2간 약한 결합도 특징 / 이점 특징 메시지 보관 기간 : 1분 ~ 14일 메시지 크기 : 1KB ~ 256KB AWS Console, CLI, SDK 등을 활용하여 서..

S3 sync 디렉터리와 S3 경로를 동기화한다. 원본 디렉터리에서 지정한 타깃 경로로 새 파일 및 업데이트된 파일을 재귀적으로 복사한다. 즉, 원본 디렉터리와 타깃 경로에 존재하는 파일의 차이(변경일, 해시값, 파일 크기) 등을 비교하여 차이가 있는 파일만을 업데이트한다. 리눅스의 rsync 명령어와 유사하다. sync 명령은 S3 버킷에 푸시하는 데이터 양을 줄임으로써 비용을 절감할 수 있다. 사용법 aws s3 sync / / /ORIGIN_PATH와 /TARGET_PATH 각각이 로컬 디렉터리인지 s3 경로인지에 따라 업로드, 다운로드, 버킷 간 동기화가 가능하다. 로컬 디렉터리에서 S3 버킷으로 동기화 (업로드) aws s3 /PATH/LOCAL s3://TARGET/PREFIX # 예시 aws..

S3는 객체가 비용 효율적으로 데이터를 보관할 수 있도록 수명 주기를 구성할 수 있다. 작업은 크게 두 가지가 존재한다. 전환 작업 : 객체가 다른 스토리지 클래스로 전환되는 시기 정의 만료 작업 : 객체가 만료되는 시기 정의. 만료된 객체는 자동으로 삭제된다. 이 글에서는 S3에 수명 주기 규칙을 설정하는 방법을 정리해둔다. 방법 1. AWS 콘솔에서 수명 주기 규칙을 설정할 S3 버킷의 관리 탭으로 이동한다. 2. 수명 주기 규칙 항목에서 수명 주기 규칙 생성 버튼 클릭 3. 수명 주기 규칙 정보를 설정한다. 규칙 범위 선택 : 버킷 내에 규칙을 적용할 객체 범위를 설정한다. prefix, tag, size 등을 이용해 범위를 지정할 수 있으며, 범위 지정 없이 모든 객체에 규칙을 적용할 수도 있다...

2021.08.26 - [AWS cli] 사용할 계정(profile) 등록/지정 위 글에서는 리눅스 환경에서 aws profile을 등록하는 방법을 정리했었다. 그렇다면 삭제는 어떻게 할까? aws profile 정보를 삭제 하는 방법은 매우 간단하다. aws configure 명령으로 인해 저장된 설정 파일(~/.aws/credentials, ~/.aws/config) 자체를 삭제하거나, 삭제할 profile 정보만 파일에서 삭제한 후 저장하면 된다. 테스트를 해보도록 하겠다. 테스트 1. EC2FullAccess 권한이 부여된 사용자의 액세스 키로 profile이 등록되어 있다. 2. aws cli 명령을 통해 정상적으로 동작하는지 확인해본다. aws ec2 describe-instances --qu..

AWS에서 태그는 자원 관리를 위해 사용자가 정의하는 key-value 쌍이다. 태그 관리 시 아래와 같이 태그의 key가 유효하지 않다는 에러와 함께 업데이트가 불가능한 경우에는 EC2의 세부 정보에서 인스턴스 메타데이터의 태그 허용이 활성화되어 있지 않은지 먼저 살펴본다. 인스턴스 메타데이터의 태그 허용은 인스턴스 메타데이터에서 인스턴스의 태그를 접근 여부를 허용하거나 허용하지 않기 위한 기능으로, 기본적으로 비활성화되어 있다. 이 기능을 활성화하는 경우에는 공백, /, ., .., _index가 포함된 값은 사용할 수 없기 때문에 Cost Type이라는 태그 키를 사용할 수 없는 상태였다. 비활성화 방법은 아래와 같다. 인스턴스 메타데이터 태그 허용 비활성화 방법 1. 비활성화한 EC2 인스턴스를 ..

2021.08.25 - [AWS cli] s3 파일/디렉터리 다운로드 위 글에 이어서, 이 글에서는 s3에 업로드된 파일 또는 디렉터리를 삭제하는 방법에 대해 정리해둔다. 사전 조건 1. aws cli 설치 2. s3 읽기, 쓰기 권한 aws s3 rm aws s3의 하위 명령어는 리눅스의 파일/디렉터리 관련 명령어와 유사하게 cp, mv, ls 등의 명령어를 지원한다. 단일 파일 삭제 aws s3 rm # 예시 aws s3 rm s3://test/rm_test/while.sh 참고로 아무 파일도 존재하지 않는 디렉터리는 자동으로 경로가 삭제된다. 디렉터리 삭제 특정 디렉터리 아래의 파일을 전부 다룰 때에는 --recursive 옵션을 사용한다. aws s3 rm --recursive # 예시 aws s..

boto3 Python용 AWS SDK EC2, S3와 같은 AWS 서비스 개체를 생성 및 관리할 수 있다. SDK 소프트웨어 개발 키트 (Software Development Kit) 소프트웨어 기술자가 사용하여 특정한 소프트웨어 꾸러미, 소프트웨어 프레임워크, 하드웨어 플랫폼, 컴퓨터 시스템, 게임기, 운영 체제 등을 위한 응용 프로그램 등을 만들 수 있게 해주는 개발 도구의 집합 이 글에서는 리눅스 환경에서 boto3을 설치하고 자격 증명을 구성하는 방법에 대해 정리한다. 설치 요구 조건 : Python 3.6 이상 Python 3.5 이하는 지원이 중단되었다. pip를 통해 설치할 수 있으며, ==, >=, =1.15.0 pip3 install boto3 [매뉴얼] Boto3가 AWS의 자격증명(..

AWS 콘솔에서는 기본적으로 RDS 스토리지 사용량 또는 사용률에 대한 지표를 제공하지 않는다. 대신 여유 스토리지 공간 (MB/초) 지표를 제공한다. 즉, 총 스토리지 용량과 여유 스토리지 공간 용량을 이용해 사용량 및 사용률을 별도로 계산해야 한다. 이 글에서는 총 스토리지 용량과 여유 스토리지 공간 확인 방법을 정리해둔다. 1. 총 스토리지 용량 확인 AWS Concole에서 RDS 정보에 접근한 후, 구성 탭을 클릭한다. 구성 탭에서 스토리지 항목을 확인한다. 2. 여유 스토리지 공간 확인 AWS Concole에서 RDS 정보에 접근한 후, 모니터링 탭을 클릭한다. 모니터링 탭에서 여유 스토리지 공간이라는 이름의 지표를 찾아 클릭한다. 그래프에 마우스를 가져다대면 원하는 시점의 여유 스토리지 공간..