AWS 65

[AWS] 와일드카드 패턴으로 S3 객체 검색

개요 일반적으로 AWS CLI를 이용해 S3에 저장된 객체를 확인할 때는 리눅스의 ls 명령과 비슷하게 aws s3 ls 명령을 사용한다. 하지만 리눅스 ls 명령을 사용할 때처럼 와일드카드를 이용해 파일을 검색하려고 하면 아무것도 검색되지 않는다. aws s3 ls s3://my-bucket/folder/*myfile* 와일드카드가 지원되지 않기 때문인데, 이를 대신할 수 있는 방법을 정리해둔다. grep으로 필터링 가장 간단한 방법은 grep 명령을 이용해 출력을 필터링하는 방법이다. aws s3 ls s3://my-bucket/folder/ | grep myfile --include, --exclude 옵션으로 필터링 cp, mv, rm, sync와 같은 S3 명령에는 결과를 필터링할 수 있는 --..

AWS 2022.11.22

[AWS] S3 Select - 객체 내 데이터 쿼리

S3 Select 간단한 SQL을 이용해 객체에서 필요한 데이터만 가져올 수 있도록 하는 서비스이다. CSV, JSON, Apache Parquet 형식으로 또는 압축되어 저장된 객체를 대상으로 사용할 수 있고, 결과는 CSV, JSON 형식으로 설정할 수 있다. S3 Select를 사용하기 위해서는 s3:GetObject 권한이 필요하다. 콘솔을 통해 사용 1. S3 버킷에 저장된 객체 중 S3 Select를 사용할 객체를 선택 > 열기 > S3 Select를 사용한 쿼리 클릭 2. 쿼리 결과를 출력할 형식을 설정한다. 3. 쿼리를 작성하고 실행한다. SQL 기본적으로 SELECT ~ FROM ~ WHERE 절을 사용할 수 있다. SELECT projection [ AS column_alias | co..

AWS 2022.11.07

[AWS cli] S3 - Cloudwatch 지표 통계 확인

개요 2022.10.20 - [AWS cli] SQS - Cloudwatch 지표 통계 확인에 이어 S3의 모니터링 지표를 수집해보려고 한다. 여러 지표 중에서 버킷에 대한 일별 스토리지 지표인 버킷 용량과 객체 수를 수집해보려고 한다. 네임스페이스 S3 지표는 AWS/S3 네임스페이스에 포함되어 있다. 버킷에 대한 일별 스토리지 지표 정보 각 지표는 다음과 같은 이름, Unit, Statistics를 가진다. 지표 이름 설명 BucketSizeBytes 버킷 내 스토리지 클래스에 저장된 데이터의 양. 불완전 멀티파트 업로드 부분과 메타데이터 크기까지 포함하여 계산된다. 스토리지 유형 : 아래 StorageType Demension 참조. NumberOfObjects와 달리 AllStorageTypes로..

AWS 2022.10.22

[AWS cli] SQS - Cloudwatch 지표 통계 확인

개요 2022.10.19 - [aws cli] cloudwatch 지표 통계 확인에서 기본적인 get-metric-statistics API의 사용 방법을 정리했다. 이 글에서는 AWS Cli를 이용해 SQS의 Cloudwatch 모니터링 지표를 수집해보려고 한다. 네임스페이스 SQS 지표는 AWS/SQS 네임스페이스에 포함되어 있다. 지표 정보 각 지표는 다음과 같은 이름, Unit, Statistics를 가진다. 지표 이름 설명 ApproximateAgeOfOldestMessage 대기열에서 가장 오래된 비삭제 메시지의 대략적인 사용 기간. Unit : Seconds 유효한 Statistics : Average, Minimum, Maximum, Sum, SampleCount ApproximateNum..

AWS 2022.10.20

[aws cli] cloudwatch 지표 통계 확인

개요 AWS는 각 리소스의 모니터링 탭이나 Cloudwatch를 통해 AWS가 지원하는 지표 정보, 예로 들어 EC2의 경우 CPU 사용륭이나 상태 검사 실패 건 등의 정보를 확인할 수 있다. 이러한 정보는 AWS 콘솔 뿐만 아니라 aws cli를 이용해 확인할 수도 있는데, 이 글에서는 해당 명령어 사용 방법에 대해 정리한다. GetMetricData VS GetMetricStatistics AWS cli/API를 사용하여 AWS CloudWatch 지표를 검색하는 방법으로는 GetMetricData 또는 GetMetricStatistics를 사용할 수 있다. GetMetricData는 대규모 데이터를 빠르게 검색할 수 있을 뿐만 아니라 지표 수식도 지원하지만, 프리 티어에 포함되어 있지 않다. 호출당..

AWS 2022.10.19

[aws cli] S3 event 알림 설정 확인

개요 aws cli를 이용해 S3 버킷에 설정된 이벤트 알림의 설정 정보를 확인해보도록 한다. 사용자에게는 s3:GetBucketNotification 권한이 필요하다. S3 event 알림 설정 aws s3api get-bucket-notification-configuration \ --bucket # 예시 aws s3api get-bucket-notification-configuration \ --bucket my-bucket # 결과 { "TopicConfigurations": [ { "Id": "YmQzMmEwM2EjZWVlI0NGItNzVtZjI1MC00ZjgyLWZDBiZWNl", "TopicArn": "arn:aws:sns:us-west-2:123456789012:my-notification..

AWS 2022.10.11

[aws cli] SQS 관련 정보 확인

개요 aws cli를 이용해 SQS의 목록을 확인하고 필요한 정보를 확인해보도록 한다. 당연하지만 SQS 정보에 접근할 권한이 있어야 한다. SQS 목록 확인 aws sqs list-queues \ --region # 예시 aws sqs list-queues \ --region ap-northeast-2 # 결과 { "QueueUrls": [ "https://queue.amazonaws.com/80398EXAMPLE/MyDeadLetterQueue", "https://queue.amazonaws.com/80398EXAMPLE/MyQueue", "https://queue.amazonaws.com/80398EXAMPLE/MyOtherQueue", "https://queue.amazonaws.com/80398..

AWS 2022.09.29

[aws cli] 다중 조건 필터링

cli 필터링 옵션 aws cli로 목록을 확인할 때 조건을 주어 필터링해야 하는 경우가 있다. 필터링을 할 수 있는 옵션으로는 --filter, --query 옵션 2개가 존재한다. --filters : AWS CLI의 서버 측 필터링. 필터를 만족하는 레코드만 반환한다. --query : 내장 JSON 기반 클라이언트 측 필터링. 서버에서 응답받은 결과를 필터링하여 표시한다. 쿼리는 JMESPath 구문을 사용하여 표현식을 만든다. --output 옵션을 사용하는 경우 필터링하기 전에 출력문이 페이징 처리된다. 이 글에서는 사용 중인 EC2의 비용 추적을 위해, 동작 중인 EC2 인스턴스에 특정 태그가 비어 있는 게 있는지 점검해보려고 한다. 즉, aws ec2 describe-instance 명령을..

AWS 2022.09.11

[IAM] default profile과 EC2Role 함께 사용하기

개요 AWS EC2의 특정 사용자에게 default profile을 등록해두었다. 그런데 같은 사용자로 EC2 Role을 이용해 AWS를 조작해야 하는 상황이 생겼다. 다만 AWS에서 자격 증명을 확인하는 순서는 아래와 같다. CLI 실행 시의 옵션 : 파라미터로 지정한 --region, --output, --profile 옵션 환경 변수 : 시스템의 환경 변수 ~/.aws/credential (Linux 기준) ~/.aws/config (Linux 기준) 컨테이너 자격 증명 : ECS에 연결된 IAM Role EC2 인스턴스 프로파일 보안 인증 : EC2에 연결된 IAM Role 즉, EC2에 연결된 Role의 적용 우선순위가 가장 낮기 때문에 default profile을 설정하면 Role에 접근할 ..

AWS 2022.09.04

[ELB] 로드밸런서 IP 확인

개요 AWS ELB의 IP 정보가 필요하다. 하지만 AWS 콘솔에서 LB 정보를 확인해도 서브넷 정보까지만 확인되지, IP 주소 정보는 보이지 않았다. 이 글에서는 ELB의 IP 정보를 확인하는 방법을 정리해둔다. 💡 ALB, CLB의 경우 서브넷 내에서 IP 정보가 유동적으로 변경된다. AWS Console에서 확인 1. AWS EC2 > 로드밸런싱 > 로드밸런서 목록에서 IP 주소를 확인할 LB의 이름을 복사한다. 2. AWS EC2 > 네트워크 및 보안 > 네트워크 인터페이스 목록에서 복사한 LB 이름으로 검색한다. 검색 결과에서 퍼블릭 IPv4 또는 기본 프라이빗 IPv4 주소 정보가 LB의 IP 주소 정보에 해당한다. 검색한 LB는 2개의 AZ에 걸쳐 이중화되어 있어 2개의 IP 주소를 사용하고..

AWS 2022.08.28
1 2 3 4 5 6 7