Passwd

개요업무에서 EKS에 접속해서 사용 중인데, 클러스터 내에서 내가 어떤 AWS 계정을 사용해서 작업을 수행하는지 확인하고 싶다. 찾아보니 EKS 접근 제어를 aws-auth라는 걸로 관리하는 것 같은데, 이번 글에서는 aws-auth에 대해서 조금 알아보려고 한다. aws-authEKS의 접근을 구성하는 방식 중 하나로, 클러스터가 IAM 보안 주체로 aws-auth라는 이름의 ConfigMap을 취급하는 방식이다. 즉, IAM 사용자, Role, Group을 Kubernetes RBAC과 연결하는 역할을 한다.aws-auth ConfigMap은 EKS 접근 제어를 관리하고 Kubernetes RBAC을 설정하며, EKS 노드 그룹이 클러스터에 조인할 수 있도록 허용하는 등의 역할을 담당한다.다만 공식..

개요최근 AWS 콘솔에 로그인했더니 아래와 같은 알림이 생긴 것을 발견했다. 대충 내용을 보면 멀티 세션 지원이라는 기능을 통해 같은 웹 브라우저에서 여러 개의 AWS 계정에 로그인할 수 있다는 내용 같았다. 업무에서 AWS 계정을 여러 개 사용하고 있는데, 기본적으로 브라우저 하나에 하나의 AWS 계정에 접속할 수 있기 때문에 동시 접속이 필요한 경우에는 시크릿 창을 활용해야 하는 등의 불편함을 느끼고 있었다. 개인적으로 환영할 만한 개선 사항인 것 같아 바로 사용 방법을 알아보았다.   멀티 세션멀티 세션 기능은 단일 웹 브라우저에서 최대 5개의 계정에 동시 로그인할 수 있게 해 준다. 아예 다른 계정이나, 같은 계정의 루트 사용자, IAM, 역할이 될 수 있다.사용 방법은 다음과 같다. 1. 콘솔 ..

개요2023.07.12-[AWS] S3 - 멀티파트 업로드/다운로드에서 정리한 바에 의하면 aws s3는 sync, cp 명령어를 사용할 때 일정 용량 이상의 객체에 대해서 자동으로 멀티파트 업로드를 사용하도록 되어 있다. 하지만 멀티파트 업로드가 항상 성공적으로 완료되는 것은 아닌데, 멀티파트 업로드 미완료로 인해 객체의 일부만 S3에 업로드된 경우에는 S3에서 객체를 생성하지 않기 때문에 객체는 확인할 수 없고 용량에 의해 비용을 청구받는 상태가 될 수 있다.이번 글에서는 미완료 멀티파트 업로드 데이터를 모니터링하고, 삭제하는 방법에 대해서 적어둔다.  미완료 멀티파트 업로드 확인미완료 멀티파트 업로드 데이터는 S3 스토리지 렌즈 기능을 사용하여 확인할 수 있다.S3 스토리지 렌즈의 추세 및 배포 항..

개요2022.04.24-[S3] 수명 주기(Life Cycle) 적용/확인에서 S3 비용 및 데이터 수명 주기 최적화를 위해 S3 수명 주기 규칙을 적용했었다. S3는 버킷 당 최대 1000개의 수명 주기 규칙을 적용할 수 있는데, 이번 글에서는 규칙의 대상이 서로 겹치는 등의 경우에 어떻게 처리되는지를 적어두려고 한다.  기본 적용 규칙일반적으로 S3 수명 주기는 비용을 최적화하는 방향으로 적용된다. 예로 들어 두 개의 객체 만료 정책이 서로 겹치는 경우 더 짧은 만료 정책을 적용하며, 두 개의 스토리지 클래스 전환 정책이 서로 겹치는 경우 더 저렴한 스토리지 클래스로 전환하는 규칙을 적용한다.다만, S3 Intelligent-Tiering 전환 정책은 S3 Glacier Flexible Retriev..

현상AWS 환경에서 매 시간마다 배치성 작업을 수행시키고 있다. 배치성 작업은 돌아갈 때마다 새 EC2를 생성하여 동작하고 EC2를 종료시키기를 반복하는데, 최근 EC2를 생성하는 과정에서 거의 매일 아래와 같은 에러가 발생하면서 실패하고 있었다.botocore.exceptions.ClientError: An error occurred (RequestLimitExceeded) when calling the RunInstances operation (reached max retries: 4): Request limit exceeded.매번 수동으로 Ec2를 다시 생성해왔는데, 현상을 좀 해소해보려고 한다.  API throttlingAWS EC2는 원활한 서비스 제공을 위해 리전 별로 AWS 계정에 대한 ..

MWAA란? Amazon Managed Workflows for Apache Airflow란 Apache Airflow에 대한 AWS 관리형 오케스트레이션 서비스로 MWAA라고 칭해진다. MWAA는 관리형 서비스이기 때문에 확장성, 가용성 등 인프라 관리에 대한 고민 없이 Airflow를 사용할 수 있다. 즉, 요구 리소스에 맞춰 워크플로우 용량을 확장하므로 AWS 클라우드 환경에서 데이터 파이프라인을 대규모를 설정하고 운영하는데 적합하다. 이 글에서는 Apache Airflow에 대한 기본 지식은 있다고 가정하고 작성했다. 장점 MWAA를 사용하면 다음과 같은 장점을 가질 수 있다. - 자동 Airflow 설정 : MWAA를 사용하면 환경 생성 시 필요한 Airflow 버전을 선택하여 환경을 설정할 수..

개요 2024.03.22 - [AWS] Mountpoint for S3 - S3를 파일 시스템처럼 사용하기에서 AWS S3가 제공하는 Mountpoint for S3 기능을 살펴보았다. 다만 Mountpoint for S3는 mount-s3를 수행한 사용자가 버킷에 대해 작업할 수 있도록 기본적인 권한을 설정한다. 때문에 이전 글에서 EC2에 root 사용자로 버킷을 마운트 했을 때, 일반 사용자는 버킷에 접근할 수가 없었다. 이번 글에서는 Mountpoint for S3 사용 시 고려해볼 수 있는 권한, mount path 지정 등의 구성 설정에 대해 적어둔다. 파일/디렉터리 권한 설정 Mountpoint for S3는 기본적으로 mount-s3 명령을 수행한 사용자가 마운트 한 버킷의 파일을 읽고 쓸..

개요 AWS S3는 파일 스토리지가 아니라 객체 스토리지다. S3 버킷과 버킷에 저장된 객체를 다룰 때는 주로 API를 사용한다. 하지만 S3를 파일 시스템처럼 사용하고 싶어 하는 사용자가 많았는지(기존에는 서드파티인 s3fs를 이용해 mount하는 방법을 사용한 것으로 보인다.) 2023년에 AWS에서 Mountpoint for S3라는 기능을 출시했다. 이번 글에서는 Mountpoint for S3 기능을 살펴본다. Mountpoint for Amazon S3 Mountpoint for S3는 S3 버킷을 로컬 파일 시스템에 마운트 하는 오픈 소스 파일 클라이언트다. 파일 읽기, 열기 등과 같은 파일 시스템 작업을 자동으로 S3 API 호출로 변환하여 애플리케이션이 파일 인터페이스를 통해 S3를 다룰..

개요 2024.01.26 - [AWS] cli - AWS 제공 EC2 인스턴스 타입 목록 조회 - 1에 이어 AWS cli로 AWS가 제공하는 EC2 인스턴스 타입 목록을 조회하는 방법을 정리한다. ec2 describe-instance-type ec2 describe-instance-type 명령어는 제공되는 인스턴스 타입의 세부 정보를 반환한다. aws ec2 describe-instance-types 옵션 없이 사용하면 현재 리전에서 제공되는 모든 인스턴스 타입에 대한 세부 정보가 나열된다. 따라서 인스턴스 타입만 나열할 때는 --query 옵션을 이용한 출력 필터링이 필요하다. aws ec2 describe-instance-types \ --query InstanceTypes[].InstanceT..

개요 AWS에서 제공하고 있는 EC2 인스턴스 타입의 목록이 필요하다. AWS cli나 Linux 명령어 등을 통해 목록을 얻는 방법에 대해 정리해 둔다. 이 글에서는 여러 방법 중 ec2 describe-instance-type-offerings 명령어 대해 정리한다. ec2 describe-instance-type-offerings ec2 describe-instance-type-offerings 명령어는 제공되는 모든 인스턴스 타입의 목록을 반환한다. region 또는 az를 지정하여 특정 위치에서 제공되는 인스턴트 타입의 목록을 확인할 수 있는데, 만약 목록을 확인할 위치 정보를 지정하지 않으면 현재 region을 목록을 확인할 위치로 취급한다. 현재 리전에서 제공하는 인스턴스 유형 목록 확인 옵..