Passwd

개요 2023.02.21 - [Superset] 설치 및 실행 2023.02.22 - [Superset] DB 연결 (MySQL) 2023.03.02 - [Trino] 설치/구성/실행 2023.03.04 - [Trino] MySQL Connector 추가 위 글에서 Superset과 Trino를 설치해 보고 각각의 소프트웨어로 MySQL Database에 연결해 보았다. 이 글에서는 Trino와 Superset을 연결하여 사용할 수 있도록 구성해보고자 한다. Superset에서도 직접 MySQL에 접근할 수 있지만, 구성 테스트이므로 Trino를 통해서 MySQL에 접근할 것이다. 요구 사항 Trino 352 이상의 버전이 필요하다. 이 글에서 설치된 Trino는 407이므로 이상 없이 진행할 수 있다...

Dataset 유형 Superset에서 Dataset는 Physical과 Virtual 두 가지 유형이 있다. Physical Dataset 데이터베이스의 테이블 또는 뷰를 나타낸다. 실제 물리적인 테이블을 반영하기 때문에 데이터베이스에서 스키마 및 열 유형 등의 정보를 자동으로 가져올 수 있다. 이러한 정보는 Superset 메타데이터 DB에 저장되는데, 만약 테이블 스키마 등의 정보가 변경된 경우 Sync Columns from Source to force Superset 버튼을 클릭해 내부 데이터 모델을 갱신할 수 있다. Virtual Dataset 데이터베이스에 대한 자유 형식 SQL 쿼리로 생성한 Dataset이다. 메트릭을 정의하거나 calculated columns을 정의하는 등 Physic..

개요 2023.02.21 - [Superset] 설치 및 실행 2023.02.22 - [Superset] DB 연결 (MySQL) 2023.02.23 - [Superset] 데이터 확인 및 쿼리 실행 2023.02.24 - [Superset] Physical Dataset 생성 및 편집 2023.02.25 - [Superset] Chart 생성하기 위 글을 통해 특정 Dataset을 이용한 Chart까지 그려보았다. 이 글에서는 생성한 Chart를 배치한 대시보드를 생성해 보도록 한다. 대시보드 구성 요소 하나의 대시보드는 그림과 같은 구조로 이루어져 있다. 지난 글을 통해 데이터베이스 연결을 비롯해 Chart 생성까지 완료하여 대시보드를 구성할 최소한의 요소를 갖췄다고 할 수 있겠다. 대시보드 생성 1..

개요 2023.02.21 - [Superset] 설치 및 실행 2023.02.22 - [Superset] DB 연결 (MySQL) 2023.02.23 - [Superset] 데이터 확인 및 쿼리 실행 2023.02.24 - [Superset] Physical Dataset 생성 및 편집 위 글을 통해 Chart를 그리기 위한 사전 작업을 마무리했다. 데이터를 통해 차트를 그려보도록 하자. Chart 생성 1. Charts 페이지로 이동 상단바에서 Charts 메뉴를 클릭한다. 예제 데이터를 로드한 경우 이미 생성된 Chart 목록을 확인할 수 있다. 2. 새 Chart 생성 우측 상단의 + CHART 버튼 클릭하여 접근한 뒤, Chart를 그릴 Dataset와 Chart 유형을 선택한다. 이 글에서는 이..

개요 2023.02.21 - [Superset] 설치 및 실행 2023.02.22 - [Superset] DB 연결 (MySQL) 2023.02.23 - [Superset] 데이터 확인 및 쿼리 실행 위 글에서 Superset을 설치하고 데이터베이스 연결을 해보았다. 이제 대시보드와 차트를 그릴 수 있도록 Dataset을 만들어보려고 한다. Dataset의 유형은 데이터베이스 소스의 Table 또는 View에 해당하는 Physical과 SQL Lab을 통해 생성한 Virtual 두 가지가 존재한다. 이 글에서는 Physical Dataset를 생성해 본다. Dataset 생성 1. Datasets 페이지로 이동 상단 메뉴바에서 Data > Datasets로 접근할 수 있다. 설치하는 과정에서 예제 데이터..

개요 2023.02.21 - [Superset] 설치 및 실행 2023.02.22 - [Superset] DB 연결 (MySQL) 위 글에서 Superset을 설치하고 데이터베이스에 연결해 보았는데, Superset에서 차트와 대시보드를 구성하기 위해서는 Superset에서 확인할 데이블에 해당하는 Dataset를 먼저 생성해야 한다. 그전에 먼저 Database에 연결한 데이터가 정상적으로 로드되었는지 확인하고, SQL을 이용해 쿼리 해보도록 한다. 데이터 확인 1. SQL Editor 페이지 이동 상단바에서 SQL Lab > SQL Editor 로 접근한다. 2. 데이터 로드 SQL Editor 화면의 구성은 크게 사진에 표시한 부분일 것 같다. 데이터를 확인할 테이블을 선택하자. 좌측에 테이블을 구..

개요 2023.02.21 - [Superset] 설치 및 실행 에서 Superset을 설치해 보았다. 이 글에서는 Superset에서 시각화할 데이터가 저장된 데이터베이스 연결을 해보도록 한다. 사용할 데이터베이스는 AWS RDS MySQL 8.0.28 엔진이다. 데이터베이스 드라이버 설치 Superset은 SQLite 외의 다른 데이터베이스를 연결하여 사용할 때는 드라이버 설치가 필요하다. MySQL의 경우 Python mysqlclient 라이브러리 설치가 필요하다. pip install mysqlclient 💡 ERROR: Command errored out with exit status 1: python setup.py egg_info Check the logs for full command ou..

개요2023.02.20 - Apache Superset 이란?에 대해서 정말 간단히 superset에 대해 소개했는데, 이 글에서는 공식 문서를 참고하여 설치 방법을 정리해두려고 한다. 설치는 컨테이너 환경이 아니라 호스트 환경에서 python pip로 진행한다. 설치 환경은 다음과 같다.설치 환경- server : AWS EC2- OS : Ubuntu 20.04.5 LTS - Python : 3.8.10   설치별다른 구성 없이 기본 구성으로 진행한다. 1. 종속성 패키지 설치호스트에 설치하는 경우 OS 환경에 대한 종속성을 가진다. 설치에는 root 권한이 필요하다.apt updateapt install build-essential libssl-dev libffi-dev python3-dev pyth..

Apache Superset 대규모 데이터를 처리할 수 있는 데이터 탐색 및 데이터 시각화를 위한 오픈소스 소프트웨어 기업에서 데이터를 수집, 정리, 분석하고 활용하여 효율적인 의사결정을 할 수 있는 방법에 대해 연구하는 비즈니스 인텔리전스(Business Intelligence, BI) 솔루션 중 하나이다. 에어비앤비 헤커톤 프로젝트로 시작해 2017년 아파치 인큐베이터 프로그램에 들어간 뒤, 2021년에 아파치 재단 최상위 프로젝트가 되었다. 특징 1. 오픈소스 소프트웨어로 무료로 사용할 수 있다. 2. 다양한 시각화 도구를 지원하며 동적인 대시보드 구성이 가능하다. 3. 다양한 데이터베이스를 지원한다. 4. 공식적으로 Window를 지원하지 않는다. 참고 문서 https://en.wikipedia...