Passwd

AWS Athena 표준 SQL을 사용해 AWS S3에 저장된 데이터를 분석할 수 있는 대화형 쿼리 서비스 S3에 저장된 데이터를 지정하고 표준 SQL을 사용하면 임시 쿼리를 실행하여 결과를 얻을 수 있다. 즉, S3에 저장된 데이터를 DB에 저장된 데이터처럼 다룰 수 있다. 주로 로그와 같은 대규모 데이터를 로드하고 압축을 푸는데 필요한 시간과 비용을 줄이기 위해 사용한다. 특징 Serverless 서비스를 이용하기 위해 관리할 인프라가 없다. 또한 AWS 콘솔을 통해 사용할 수 있다. 비용 실행한 쿼리에 대한 비용을 지불한다. 조금 더 정확하게는 실행한 쿼리가 스캔한 데이터의 용량만큼 비용이 청구되는데 1TB 당 5달러 정도이다. 따라서 데이터 압축이나 파티셔닝을 이용해 스캔하는 양을 줄이면 보다 효..

EC2 인스턴스 메타데이터(IMDS) intance_id, instance_type, ami-id 등과 같이 실행 중인 인스턴스를 구성하거나 관리하는 데 사용하는 인스턴스 관련 데이터 EC2 생성 시 메타데이터의 엑세스 여부와 버전 등을 선택할 수 있다. 인스턴스 메타데이터를 사용해 인스턴스를 시작할 때 지정한 사용자 데이터(실행 스크립트)에도 접근이 가능하다. 다만 인증 또는 암호화 등의 방법으로 보호되지 않으며 인스턴스에 접근할 수 있는 모든 사용자는 제한 없이 접근할 수 있다. ec2metadata ec2metadata를 검색할 수 있는 명령어로, EC2에는 기본적으로 포함되어 있는 것 같다. 만약 명령어가 설치되어 있지 않다면, 아래의 명령어를 이용해 설치할 수 있다. apt install clo..

정책 자격 증명 또는 리소스에 연결될 때 해당 권한을 정의하는 AWS 객체 리소스에 대한 액세스를 제한하는 권한 정책을 생성할 때 자격 증명 기반 정책(Identity-based policies) 또는 리소스 기반 정책(Resource-based policies)을 선택할 수 있다. 정책은 아래와 같이 분류할 수 있다. 자격 증명 기반 정책 (Identity-based policies) AWS 관리형 정책 고객 관리형 정책 인라인 정책 리소스 기반 정책 (Resource-based policies) 자격 증명 기반 정책 IAM 사용자, 그룹, 역할에 연결되어, 자격 증명이 수행할 수 있는 작업을 지정할 수 있다. AWS 관리형 정책 AWS에서 기본적으로 생성하고 관리한다. *FullAccess, *Pow..

개요 2022.11.07 - [AWS] S3 Select - 객체 내 데이터 쿼리에서 정리한 S3 Select 기능을 aws cli를 통해 이용하는 방법을 정리한다. select-object-content cli로 S3 Select를 이용할 때는 데이터를 조회할 파일(bucket, key), 데이터를 조회할 쿼리(expression, expression-type), 그리고 입력으로 받을 데이터 형식과 결과로 낼 데이터 형식을 지정해야 한다. aws s3api select-object-content \ --bucket \ --key \ --expression --expression-type SQL \ --input-serialization \ --output-serialization \ 입력 설정(inpu..

개요 이미 생성되어 있는 EKS에 접속할 수 있도록 설정해보려고 한다. EKS에 접근하기 위해서는 다음과 같은 사항이 필요하다. aws cli : eks는 버전 2에서만 지원한다. EKS 클러스터 접근 권한이 부여된 IAM 사용자 또는 역할 kubectl 방법은 다음과 같다. 권한 설정 및 확인 aws profile을 등록하고, 접근할 EKS 클러스터의 정보를 조회할 수 있는지 확인한다. # profile 등록 aws configure # 클러스터 목록 확인 aws eks list-clusters \ --profile --region ap-northeast-2 # 클러스터 정보 확인 aws eks describe-cluster \ --name \ --profile --region ap-northeast-..

개요 AWS CLI를 사용해 이미 사용 중인 Classic LB에 target instance를 등록하거나 해제하려고 한다. 사용한 명령어를 정리해둔다. 💡 Application LB, Network LB은 이 글에서 다루지 않는다. CLB 정보 확인 describe-load-balancers 명령으로 classic LB의 현재 정보를 확인할 수 있다. 로드밸런서 이름을 지정하지 않으면 모든 로드밸런서 정보를 확인한다. 특정 로드밸런서 정보를 확인하고 싶을 때는 --load-balancer-name 옵션으로 확인할 로드밸런서의 이름을 전달한다. aws elb describe-load-balancers # --load-balancer-names : 로드밸런서 이름 # 예시 aws elb describe-l..

개요 AWS CLI 관련해서 2022.09.11 - [aws cli] 다중 조건 필터링 2022.09.26 - [JMESPath] JSON 쿼리 기본 - 1 2022.09.27 - [JMESPath] Projections 2022.09.28 - [JMESPath] JSON 쿼리 기본 - 2 등의 글로 정리를 했었는데, 아무래도 TAG를 이용해 필터링을 할 때마다 헷갈려서 예시로 정리해두려고 한다. 명령어는 ec2 describe-instances 기준으로 작성한다. --filter 특정 TAG 키-값으로 필터링 aws ec2 describe-instances \ --filter Name=tag:,Values= # 값이 여럿인 경우 (OR) aws ec2 describe-instances \ --filte..

개요 일반적으로 AWS CLI를 이용해 S3에 저장된 객체를 확인할 때는 리눅스의 ls 명령과 비슷하게 aws s3 ls 명령을 사용한다. 하지만 리눅스 ls 명령을 사용할 때처럼 와일드카드를 이용해 파일을 검색하려고 하면 아무것도 검색되지 않는다. aws s3 ls s3://my-bucket/folder/*myfile* 와일드카드가 지원되지 않기 때문인데, 이를 대신할 수 있는 방법을 정리해둔다. grep으로 필터링 가장 간단한 방법은 grep 명령을 이용해 출력을 필터링하는 방법이다. aws s3 ls s3://my-bucket/folder/ | grep myfile --include, --exclude 옵션으로 필터링 cp, mv, rm, sync와 같은 S3 명령에는 결과를 필터링할 수 있는 --..

S3 Select 간단한 SQL을 이용해 객체에서 필요한 데이터만 가져올 수 있도록 하는 서비스이다. CSV, JSON, Apache Parquet 형식으로 또는 압축되어 저장된 객체를 대상으로 사용할 수 있고, 결과는 CSV, JSON 형식으로 설정할 수 있다. S3 Select를 사용하기 위해서는 s3:GetObject 권한이 필요하다. 콘솔을 통해 사용 1. S3 버킷에 저장된 객체 중 S3 Select를 사용할 객체를 선택 > 열기 > S3 Select를 사용한 쿼리 클릭 2. 쿼리 결과를 출력할 형식을 설정한다. 3. 쿼리를 작성하고 실행한다. SQL 기본적으로 SELECT ~ FROM ~ WHERE 절을 사용할 수 있다. SELECT projection [ AS column_alias | co..

개요 2022.10.20 - [AWS cli] SQS - Cloudwatch 지표 통계 확인에 이어 S3의 모니터링 지표를 수집해보려고 한다. 여러 지표 중에서 버킷에 대한 일별 스토리지 지표인 버킷 용량과 객체 수를 수집해보려고 한다. 네임스페이스 S3 지표는 AWS/S3 네임스페이스에 포함되어 있다. 버킷에 대한 일별 스토리지 지표 정보 각 지표는 다음과 같은 이름, Unit, Statistics를 가진다. 지표 이름 설명 BucketSizeBytes 버킷 내 스토리지 클래스에 저장된 데이터의 양. 불완전 멀티파트 업로드 부분과 메타데이터 크기까지 포함하여 계산된다. 스토리지 유형 : 아래 StorageType Demension 참조. NumberOfObjects와 달리 AllStorageTypes로..