Passwd

개요 2023.03.02 - [Trino] 설치/구성/실행 2023.03.03 - [Trino] Trino CLI 설치 위 글에서 Trino 서버와 클라이언트를 설치해 봤는데, 이 글에서는 Trino를 이용해 MySQL에 접근할 수 있도록 MySQL Connector를 추가해보려고 한다. 조건 Trino 서버를 MySQL과 연동하기 위해서는 아래와 같은 조건이 필요하다. MySQL 5.7, 8.0 이상의 버전 Trino Coordinator/Worker -> MySQL 네트워크 접근 허용 연결할 MySQL 서버의 주소, 포트, 접속 계정 정보 등을 미리 준비되어 있어야 한다. 구성 Connector는 TRINO_HOME/etc/catalog 경로 아래의 Catalog 속성 파일(*.properties)에..

개요 2023.03.02 - [Trino] 설치/구성/실행에서 Trino 서버를 설치해 봤는데, 이 글에서는 Trino 서버와 상호작용할 수 있는 클라이언트를 설치해보려고 한다. CLI는 자체적으로 실행할 수 있는 jar 파일로, Trino 서버와 마찬가지로 jar 파일을 다운로드하는 방식으로 설치할 수 있다. CLI는 Java 8 이상에서 동작하며, Trino 서버의 버전과 동일해야 한다. 이 글에서는 407 버전을 사용한다. 설치 1. 클라이언트 실행 파일 다운로드 https://trino.io/docs/current/client/cli.html에서 다운로드 한다. wget https://repo1.maven.org/maven2/io/trino/trino-cli/407/trino-cli-407-exe..

개요 2023.03.01 - Trino 란? 에서 Trino에 대해서 간단히 소개해봤는데, 이 글에서는 Trino를 설치하고 실행하는 방법을 정리한다. https://trino.io/docs/current/installation/deployment.html를 참고하여 host에 직접 설치해 보도록 한다. 2023년 2월 19일 기준 최신 버전으로 보이는 trino-server-407을 설치한다. 설치 환경 - AWS EC2 - Ubuntu 20.04.5 LTS - Python 3.8.10 설치 Trino는 공식 문서에서 압축 파일을 다운로드하는 방식으로 설치할 수 있다. 1. ulimit 설정 Trino는 아래와 같은 리소스 제한 설정이 필요하다. 값의 trino는 Trino를 실행하는 사용자명을 기재한..

Trino 하나 이상의 종류의 데이터 소스에 분산된 대규모 데이터 세트를 쿼리 하도록 설계된 분산 SQL 쿼리 엔진 분산 쿼리를 사용해 방대한 데이터를 효율적으로 쿼리하도록 설계된 도구이다. 표준 데이터베이스 기능을 제공하고 SQL을 다루지만 데이터베이스라고 할 순 없다. 즉, MySQL, PostgreSQL, Oracle을 대체하지 않는다. Trino는 Hive와 Pig처럼 MapReduce 작업의 파이프라인을 사용해 HDFS를 쿼리 하는 도구의 대안으로 설계되었다. 다만 HDFS 접근에 대해서만 사용하지는 않으며, 관계형 데이터베이스나 Cassandra 같은 여러 데이터 소스를 다룰 수 있다. Presto와의 관계 Presto는 페이스북이 개발해 오픈소스로 공개한 대화식 데이터 쿼리 서비스이다. Tr..

Query Engine 데이터베이스 또는 서버 위에 배치되어 해당 데이터베이스 또는 서버 내 데이터에 대한 쿼리를 실행하여 사용자 또는 애플리케이션에 답변을 제공하는 소프트웨어 그중에서도 SQL 쿼리 엔진은 SQL 명령과 언어를 해석해 관계형 데이터베이스에 접근한다. 대부분 CRUD 작업을 수행하고 관계형 데이터 모델과 데이터베이스 관리 시스템에 필요한 데이터 정책을 적용한다. 모든 데이터베이스에는 가장 널리 퍼진 쿼리 언어인 SQL(Structured Query Language)을 지원하는 쿼리 엔진이 포함되어 있다. 이점 데이터 이동 없이 데이터를 쿼리 엔진에 가져올 수 있다. 분산 SQL 쿼리 엔진을 사용하면 Hadoop, AWS S3, NoSQL, MySQL 등과 같은 다양한 데이터 소스로부터 데..

Dataset 유형 Superset에서 Dataset는 Physical과 Virtual 두 가지 유형이 있다. Physical Dataset 데이터베이스의 테이블 또는 뷰를 나타낸다. 실제 물리적인 테이블을 반영하기 때문에 데이터베이스에서 스키마 및 열 유형 등의 정보를 자동으로 가져올 수 있다. 이러한 정보는 Superset 메타데이터 DB에 저장되는데, 만약 테이블 스키마 등의 정보가 변경된 경우 Sync Columns from Source to force Superset 버튼을 클릭해 내부 데이터 모델을 갱신할 수 있다. Virtual Dataset 데이터베이스에 대한 자유 형식 SQL 쿼리로 생성한 Dataset이다. 메트릭을 정의하거나 calculated columns을 정의하는 등 Physic..

개요 2023.02.21 - [Superset] 설치 및 실행 2023.02.22 - [Superset] DB 연결 (MySQL) 2023.02.23 - [Superset] 데이터 확인 및 쿼리 실행 2023.02.24 - [Superset] Physical Dataset 생성 및 편집 2023.02.25 - [Superset] Chart 생성하기 위 글을 통해 특정 Dataset을 이용한 Chart까지 그려보았다. 이 글에서는 생성한 Chart를 배치한 대시보드를 생성해 보도록 한다. 대시보드 구성 요소 하나의 대시보드는 그림과 같은 구조로 이루어져 있다. 지난 글을 통해 데이터베이스 연결을 비롯해 Chart 생성까지 완료하여 대시보드를 구성할 최소한의 요소를 갖췄다고 할 수 있겠다. 대시보드 생성 1..

개요 2023.02.21 - [Superset] 설치 및 실행 2023.02.22 - [Superset] DB 연결 (MySQL) 2023.02.23 - [Superset] 데이터 확인 및 쿼리 실행 2023.02.24 - [Superset] Physical Dataset 생성 및 편집 위 글을 통해 Chart를 그리기 위한 사전 작업을 마무리했다. 데이터를 통해 차트를 그려보도록 하자. Chart 생성 1. Charts 페이지로 이동 상단바에서 Charts 메뉴를 클릭한다. 예제 데이터를 로드한 경우 이미 생성된 Chart 목록을 확인할 수 있다. 2. 새 Chart 생성 우측 상단의 + CHART 버튼 클릭하여 접근한 뒤, Chart를 그릴 Dataset와 Chart 유형을 선택한다. 이 글에서는 이..

개요 2023.02.21 - [Superset] 설치 및 실행 2023.02.22 - [Superset] DB 연결 (MySQL) 2023.02.23 - [Superset] 데이터 확인 및 쿼리 실행 위 글에서 Superset을 설치하고 데이터베이스 연결을 해보았다. 이제 대시보드와 차트를 그릴 수 있도록 Dataset을 만들어보려고 한다. Dataset의 유형은 데이터베이스 소스의 Table 또는 View에 해당하는 Physical과 SQL Lab을 통해 생성한 Virtual 두 가지가 존재한다. 이 글에서는 Physical Dataset를 생성해 본다. Dataset 생성 1. Datasets 페이지로 이동 상단 메뉴바에서 Data > Datasets로 접근할 수 있다. 설치하는 과정에서 예제 데이터..

개요 2023.02.21 - [Superset] 설치 및 실행 2023.02.22 - [Superset] DB 연결 (MySQL) 위 글에서 Superset을 설치하고 데이터베이스에 연결해 보았는데, Superset에서 차트와 대시보드를 구성하기 위해서는 Superset에서 확인할 데이블에 해당하는 Dataset를 먼저 생성해야 한다. 그전에 먼저 Database에 연결한 데이터가 정상적으로 로드되었는지 확인하고, SQL을 이용해 쿼리 해보도록 한다. 데이터 확인 1. SQL Editor 페이지 이동 상단바에서 SQL Lab > SQL Editor 로 접근한다. 2. 데이터 로드 SQL Editor 화면의 구성은 크게 사진에 표시한 부분일 것 같다. 데이터를 확인할 테이블을 선택하자. 좌측에 테이블을 구..