Passwd

Nifi를 이용해 특정 FTP 서버의 정해진 경로에서 파일을 수집하여 클라이언트의 특정 경로에 저장하려고 한다. 플로우를 구성해보자. 프로세서를 추가할 때, 아래에 선택한 프로세서에 대한 간단한 설명을 확인할 수 있다. 해당 설명을 참고하거나, 공식 문서를 참고하여 사용할 프로세서를 선택하면 된다. 프로세서마다 데이터 처리에 필요한 속성이 있을 수 있으므로 플로우를 구성할 때 호환되는 프로세서를 활용해 구성하거나, 프로세서에 필요한 값을 맞추는 작업을 별도로 수행해야 한다. 사용 프로세서 FTP에서 파일을 가져올 때는 ListFTP와 FethFTP를 사용한다. 각 프로세서의 역할은 아래와 같다. ListFTP FTP 서버에 있는 파일의 목록을 확인한다. 확인된 각 파일에 대해 새 FlowFile을 생성한..

메인 화면 Nifi를 실행한 뒤 접속하면 아래와 같은 화면이 반겨줄 것이다. 각 UI를 적당히 표시하면 아래와 같이 나타낼 수 있다. UI 비어있는 공간은 캔버스라고 부른다. 사용자는 캔버스에 nifi 컴포넌트를 추가하여 여러 가지 기능을 수행하는 프로세서를 구성할 수 있다. 컴포넌트는 캔버스에 드래그하여 추가할 수 있다. 캔버스 내의 컴포넌트는 컴포넌트를 우클릭하거나 Operate Pallete를 통해 조작할 수 있다. 참고로 비어 있는 캔버스를 클릭한 후, Operate Pallete를 조작하면 조작한 사항이 캔버스 내 모든 컴포넌트에 반영되므로 주의해야 한다. 상태바에서는 캔버스 내에 위치한 프로세서들이 실행 상태인지, 중지 상태인지 등의 정보를 확인할 수 있다. 컴포넌트 내 경우에는 주로 네 가지..

Nifi를 다룰 일이 생겨서 테스트하던 서버(AWS EC2/Linux2 AMI)에서 동작시키려고 했는데, 네트워크 관련 설정에 문제가 있는지 연결이 되지 않았다……. 크게 설정 구성할 것 없이 테스트할 목적이기 때문에 로컬 컴퓨터(Window 10)에 설치하여 동작시키려고 한다. 따라서 이 글에서는 Windows 10 환경에서 Nifi를 설치하고 동작시키는 방법을 정리해둔다. 사전 준비 Nifi는 Java로 개발되었기 때문에, 동작시킬 환경에 Java가 설치되어 있어야 한다. 공식 사이트에 의하면 Java 8 또는 11 설치가 요구된다. 로컬 컴퓨터에는 Oracle JDK 1.8.0_301을 설치했다. NIfi 설치 방법 1. Nifi 다운로드 공식 사이트로 접속하여 Downloads>Download N..

Apache Nifi? 소프트웨어 시스템 간 데이터 흐름을 자동화하도록 설계된 Apache 오픈 소스 분산 환경에서 많은 데이터를 수집하고 처리하는 데 사용한다. 애플리케이션을 블랙박스 프로세스의 네트워크로 정의하는 프로그래밍 패러다임인 FBP(Flow Based Programming)을 기본 설계 개념으로 한다. 공식 문서 : https://nifi.apache.org/docs/nifi-docs/html/user-guide.html 특징 장점 단점 실시간 처리에 강력함 배치 작업에 취약 장애 발생에도 데이터를 유실하지 않는다. 현재 실행 중인 내용 확인 불가 HTTPS 지원 복잡한 연산 불가 직관적인 인터페이스 데이터 이동 경로 추적 가능 구성 요소 FlowFile 속성(Attribute)와 내용(Co..

Apache NiFi NiagaraFiles의 준말. 소프트웨어 시스템 간 데이터 흐름을 자동화하도록 설계된 아파치 재단의 소프트웨어 프로젝트 https로 앞단에 ELB를 두고 있는 Nifi에 접속할 수 있도록 설정하는 방법을 적어둔다. 구조 대략 이런 구조와 트래픽 흐름이라고 생각하면 될 듯하다. 당연히 구조 전체를 표시하진 않았고, Nifi 뒷단도 생략했다. 사전 환경 - AWS EC2 Ubuntu - AWS NLB - Nifi Standalone 1.8.0 방법 1. Nifi Toolkit 설치 자체 서명 인증서를 생성하는 Toolkit을 설치한다. nifi 설치 경로의 상위 디렉터리에 설치하도록 한다. # nifi HOME이 /nifi/home/nifi-1.8.0 인 경우 cd /nifi/home..