Ⅰ. Intro

1. NiFi 란?

- Apache NiFi는 " 소프트웨어 시스템 간 데이터 흐름을 자동화 " 하도록 설계된 ApacheSoftWare Project

- 과거 NSA(National Security Agency)에서 개발하여, Apache에 기증한 Dataflow 엔진

  * 2014년 기술 전송 프로그램의 일부로서, 오픈소스화 된 나이아가라 파일(NiagaraFiles)에 기반을 두고 있음

- 데이터를 가져오고 이를 처리후 적재하기 위한 ETL(Extract-Transformation-Load) Tools의 일종

- "분산환경에서 대량의 데이터를 수집, 처리" 하며 FBP 개념을 구현하여 만든 오픈소스이다.

  * FBP(Flow Based Programming)는 사전에 Data Flow 를 정의 , 유지하면서 데이터를 교환하는 프로그래밍 패러다임

- 실시간 데이터 처리에 유리하지만, 복잡한 연산이 어려워 Spark 또는 Storm과 연동하여 많이 사용

1.1 NiFi 개념

- Flow File, Connection, Processor 크게 세 가지로 구성 + 저장소, Flow Controller 도 추가적으로 알아두기

1) FlowFile

• 인식하는 데이터 단위
• 구성 요소
• Processor와 Processor를 이동할 때마다 복사본이 만들어져서 추적이 가능하다. (내용은 복사하지 않고, 어디에 있는지 포인트 정보만 복사해 크게 부담되지는 않는다.) 
• Expression Language가 지원되서 값을 다양하게 제어

2) Processor

• FlowFile을 수집, 번형, 저장하는 기능
• 150개가 넘는 Processor 제공하고 확장 가능하다.
• ExecuteScript Processor을 활용한다면 훨씬 더 많은 일들을 할 수 있다

3) Connection

• Processor과 Processor을 연결해 FlowFile을 전달
• FlowFile의 대기열(Queue) : FlowFile의 우선순위, 만료, 부하 조절 기능 제공

4) Repository (저장소)

• FlowFile Repository - FlowFile은 생성되면 속석값과 내용 위치 저장
• Content Repository - FlowFile 내용 저장
• Provenance Repository - Processor가 처리될 때마다 FlowFile 이력(이벤트)이 남는다.

5) Flow Controller

• NiFi가 사용하는 스케줄러이다.
• 특정 간격 또는 Cron 표현식( 으로 스케줄링을 할 수 있으며, 클러스터 환경에서 동시에 실행되는 것을 막기 위해 Primary Node에서만 실행할 수도 있다.
• Controller Service를 이용해 Processor간 자원을 공유할 수 있다.
• 예를들어 DBCPConnectionPool을 이용해서 DB 연결 정보를 Processor간에 공유 가능하다.

1. 빅데이터 분석 기사란?

! 국가기술자격

• 국가기술자격법 및 동법 시행령에 근거하여, 빅데이터 이해를 기반으로 빅데이터 분석 기획,
  빅데이터 수집·저장·처리, 빅데이터 분석 및 시각화를 수행하는 실무자
• 한국데이터 산업진흥원(Kdata)에서 주최하는 빅데이터 분석 기사 시험을 통해 자격 취득
  - 2020년 12월 필기 첫 시험 / 2021년 1월 실기 첫 시험 !!

! 빅데이터분석기사의 직무

• 대용량의 데이터 집합으로부터 유용한 정보를 찾고 결과를 예측하기 위해 목적에 따라 분석기술과 방법론을 
  기반으로 정형/비정형 대용량 데이터를 구축, 탐색, 분석하고 시각화를 수행하는 업무를 수행

2. 응시 자격

정보처리기사와 같은 자격 조건! 

아래 중 하나만 만족해도 응시할 수 있는자격이 주어짐

※ 홈페이지에서 관련 증빙 자료(졸업증명서 및 경력증명서 등) 제출 필요

1. 대학졸업자등 또는 졸업예정자 (전공 무관)
2. 기사 등급 이상의 자격을 취득한 사람 (종목 무관)
3. 3년제 전문대학 졸업자등으로서 졸업 후 1년 이상 직장경력이 있는 사람 (전공, 직무분야 무관)
4. 2년제 전문대학 졸업자등으로서 졸업 후 2년 이상 직장경력이 있는 사람 (전공, 직무분야 무관)
5. 기사 수준 기술훈련과정 이수자 또는 그 이수예정자 (종목 무관)
6. 산업기사 수준 기술훈련과정 이수자로서 이수 후 2년 이상 직장경력이 있는 사람 (종목, 직무분야 무관)
7. 4년 이상 직장경력이 있는 사람 (직무분야 무관)
   
   

위 내용이 애매한 경우는 아래 참고 ! 

2. 시험 과목 - 필기

빅데이터 분석기획, 빅데이터 탐색, 빅데이터 모델링, 빅데이터 결과 해석 4과목 /출처 : 한국데이터산업진흥원, Kdata

2. 시험 과목 - 실기

빅데이터 분석 실무 (데이터 수집, 데이터 전처리, 데이터 모형 구축, 데이터 모형 평가) /출처 : 한국데이터산업진흥원, Kdata

3. 출제 문항 및 배점

필기 : 객관식 - 80문제 (각 과목 별 20문제씩) / 120분 
실기 : 통합형(필답형, 작업형) / 180분 (실기는 아직 구체적인 문항 수와 진행 방식에 대한 안내가 적다..)

4. 합격 기준

합격 기준은 여느 기사 자격증과 동일하다.  (과목당 100점을 만점)

1) 필기

• 1. 전 과목 40점 이상
• 2. 전 과목 평균 60점 이상

2) 실기

• 60점이상 (시험의 일부 과정을 응시하지 않은 경우 득점에 관계없이 불합격)

다들 모두 열심히 해서 꼭 합격할 수 있기를 !!!!!!