Passwd

example-http 커넥터 example-http connector는 http를 통해 쉼표로 구분된 데이터, 즉 CSV 파일을 읽을 때 사용할 수 있다. CSV 데이터가 많은 경우, example-http를 이용해 쿼리를 작성하고 처리할 수 있다. 커넥터의 소스는 trino-example-http 디렉터리에 위치해 있다. 이 글에서는 example-http 커넥터를 이용해 예시 데이터를 로드해보려고 한다. 예시 데이터 데이터 URL : https://github.com/trinodb/trino/tree/master/plugin/trino-example-http/src/test/resources/example-data 예시 데이터가 있는 Github 디렉터리로 이동하면 여러 개의 CSV 파일과 exam..

개요 2023.03.02 - [Trino] 설치/구성/실행 2023.03.03 - [Trino] Trino CLI 설치 위 글에서 Trino 서버와 클라이언트를 설치해 봤는데, 이 글에서는 Trino를 이용해 MySQL에 접근할 수 있도록 MySQL Connector를 추가해보려고 한다. 조건 Trino 서버를 MySQL과 연동하기 위해서는 아래와 같은 조건이 필요하다. MySQL 5.7, 8.0 이상의 버전 Trino Coordinator/Worker -> MySQL 네트워크 접근 허용 연결할 MySQL 서버의 주소, 포트, 접속 계정 정보 등을 미리 준비되어 있어야 한다. 구성 Connector는 TRINO_HOME/etc/catalog 경로 아래의 Catalog 속성 파일(*.properties)에..

개요 2023.03.02 - [Trino] 설치/구성/실행에서 Trino 서버를 설치해 봤는데, 이 글에서는 Trino 서버와 상호작용할 수 있는 클라이언트를 설치해보려고 한다. CLI는 자체적으로 실행할 수 있는 jar 파일로, Trino 서버와 마찬가지로 jar 파일을 다운로드하는 방식으로 설치할 수 있다. CLI는 Java 8 이상에서 동작하며, Trino 서버의 버전과 동일해야 한다. 이 글에서는 407 버전을 사용한다. 설치 1. 클라이언트 실행 파일 다운로드 https://trino.io/docs/current/client/cli.html에서 다운로드 한다. wget https://repo1.maven.org/maven2/io/trino/trino-cli/407/trino-cli-407-exe..

개요 2023.03.01 - Trino 란? 에서 Trino에 대해서 간단히 소개해봤는데, 이 글에서는 Trino를 설치하고 실행하는 방법을 정리한다. https://trino.io/docs/current/installation/deployment.html를 참고하여 host에 직접 설치해 보도록 한다. 2023년 2월 19일 기준 최신 버전으로 보이는 trino-server-407을 설치한다. 설치 환경 - AWS EC2 - Ubuntu 20.04.5 LTS - Python 3.8.10 설치 Trino는 공식 문서에서 압축 파일을 다운로드하는 방식으로 설치할 수 있다. 1. ulimit 설정 Trino는 아래와 같은 리소스 제한 설정이 필요하다. 값의 trino는 Trino를 실행하는 사용자명을 기재한..

Trino 하나 이상의 종류의 데이터 소스에 분산된 대규모 데이터 세트를 쿼리 하도록 설계된 분산 SQL 쿼리 엔진 분산 쿼리를 사용해 방대한 데이터를 효율적으로 쿼리하도록 설계된 도구이다. 표준 데이터베이스 기능을 제공하고 SQL을 다루지만 데이터베이스라고 할 순 없다. 즉, MySQL, PostgreSQL, Oracle을 대체하지 않는다. Trino는 Hive와 Pig처럼 MapReduce 작업의 파이프라인을 사용해 HDFS를 쿼리 하는 도구의 대안으로 설계되었다. 다만 HDFS 접근에 대해서만 사용하지는 않으며, 관계형 데이터베이스나 Cassandra 같은 여러 데이터 소스를 다룰 수 있다. Presto와의 관계 Presto는 페이스북이 개발해 오픈소스로 공개한 대화식 데이터 쿼리 서비스이다. Tr..