Passwd

개요 2023.03.18 - Apache Hive 란? 2023.03.19 - [Hive] Metastore 위 글을 통해 Apache Hive와 Hive의 구성 요소 중 하나인 Metastore 개념을 정리해 보았다. 이 글에서는 Hive metastore 설치 방법을 정리해 둔다. Metastore 유형 중 Remote Metastore로 구성한다. 🤔 왜 이 글은 Hive를 설치하는 게 아니고 Hive Metastore를 설치하는가? 이유는 단순하다. Hive가 아니라 Hive Metastore만 필요하기 때문이다. 기존에는 Hive Metastore를 사용하기 위해선 Hive 자체를 설치해야 했는데, Hive 3부터는 Metastore standalone을 지원해주고 있다. Java 설치 Hive..

개요 2023.03.18 - Apache Hadoop 이란? 에서 간단히 Hadoop에 대해 소개했는데, 이 글에서는 직접 설치해보려고 한다. 테스트 환경이므로 단일 노드, 그리고 기본 모드인 비분산 모드(Standalone)로 설치해보려고 한다. 사용한 서버는 AWS EC2, Ubuntu 20.04 LTS이다. 지원 Java 버전 Hadoop은 Java 기반 오픈소스이기 때문에 Java 설치를 요구한다. Hadoop 버전 별 사용할 수 있는 Java 버전은 아래와 같다. Apache Hadoop 3.3 이상 : Java 8, Java 11 Apache Hadoop 3.0.X ~ 3.2.X : Java 8 Apache Hadoop 2.7.X ~ 3.10.X : Java 7, Java 8 참고 : http..

Hadoop High Availability Distributed Object Oriented Platform (고가용성 분산형 객체 지향적 플랫폼) 객체 지향적인 작업을 병렬로 분산시켜 고가용성을 확보를 가능하게 하는 기술 Apache Hadoop은 Java 기반의 오픈 소스로, 간단한 프로그래밍 모듈을 사용해 컴퓨터 클러스터에 대규모 데이터 세트를 분산 저장 및 처리한다. 단일 컴퓨터에서 수천 대의 클러스터까지 확장할 수 있도록 설계되었다. HDFS와 MapReduce 프레임워크로 시작되었으나 현재는 빅데이터 처리 및 분석을 위한 플랫폼 중 표준에 가깝게 발전했다. 구성 요소 Hadoop은 MapReduce, HDFS, YARN, Common Utility로 구성되어 있다. HDFS Hadoop Di..