개요
데이터를 다루다 보면 Excel 또는 CSV 데이터 파일을 자주 사용하게 된다.
만약 superset에서 이러한 파일 데이터를 읽어 들여 Chart를 구성해야 한다면 Superset의 Upload CSV to database 기능을 사용해 작업할 수 있다.
Superset 2.1.0 버전을 기준으로 방법을 정리한다.
Upload file to database 기능 활성화
파일을 데이터베이스에 업로드하기 위해서는 해당 기능을 활성화해야 한다.
1. Databases 페이지 이동
오른쪽 상단 Settings 메뉴에서 Database Connections을 클릭한다.
2. 파일 데이터를 저장할 데이터베이스의 Edit 버튼 클릭
3. ADVANCED 탭의 Security 항목 펼치기
4. 파일 업로드 기능 활성화
Allow file uploads to database 체크 박스를 활성화하고 FINISH 버튼을 클릭한다.
5. CSV upload 활성화 확인
이상이 없으면 데이터베이스 속성에 CSV upload 부분이 체크 표시로 변경된 것을 확인할 수 있다.
파일 데이터 업로드
파일 데이터를 업로드해 보자. 이 글에서는 공공 데이터 포털에서 다운로드할 수 있는 서울특별시_시간별 (초)미세먼지 데이터를 업로드해보려고 한다.
URL : https://www.data.go.kr/data/15089266/fileData.do
1. CSV to Database 설정
업로드할 파일을 선택하고 테이블 이름일 지정한다.
💡 Error message: 'utf-8' codec can't decode byte 0xc0 in position 0: invalid start byte 발생 시
CSV 파일의 인코딩과 Superset의 인코딩이 맞지 않아 발생한 에러다. CSV 파일의 인코딩을 UTF-8로 변경하여 저장한다.
2. Datasets 확인
이상이 없으면 Datasets 화면으로 자동으로 이동하고 생성된 Datasets를 확인할 수 있다.
추가로 SQL Lab에서 정상적으로 데이터를 읽어 들인 것을 확인할 수 있다.
🤔
아무래도 파일 데이터를 업로드하는 방법이다 보니 데이터가 주기적으로 변경되는 경우 수동으로 데이터를 업로드해주어야 한다는 점이 번거로운 것 같다.
참고 문서