수행 내용-수집 시스템 구축하기

CODEDRAGON Development/Big Data, R, ...

반응형



 

 

 

수행 내용-수집 시스템 구축하기

 

 

 

수행 순서

Step1.수집 데이터 유형을 파악한다.

Step2.수집 데이터의 유형 종류에 따라 수집 기술을 결정한다.

Step3.수집 솔루션의 아키텍처를 파악하고 적합한 아키텍처를 수립한다.

Step4.하드웨어 스펙 규모를 결정하고 하드웨어를 구축한다.

Step5.수집 솔루션을 설치하고 실행 환경을 구성한다.

 

 

 

수집 시스템 구축 절차

단계

설명

수집 데이터 유형 파악

·         수집 세부 계획서 정독

·         데이터의 종류 확인

수집기술 결정

·         데이터의 유형에 맞는 최적의 수집 기술 선정

아키텍처 수립

·         수집 솔루션 아키텍처 파악

·         아키텍처 커스터 마이징

하드웨어 구축

·         하드웨어 스펙 규모 결정

·         서버, OS, 스토리지 설치

실행 환경 구축

·         Sqoop, Flume 수집 솔루션 설치

 

 

 

 

 

 

 

 

 

수행 tip

다양한 수집 솔루션의 설치 구성을 통해 수집 솔루션의 아키텍처를 이해할 있도록 합니다.

제시된 수집 솔루션 외에 다양한 오픈소스 수집 솔루션이 있습니다. 다양한 수집 솔루션을 설치해보고, 가능한 코드 level까지 솔루션을 분석할 있도록 합니다.

 


반응형

'Development > Big Data, R, ...' 카테고리의 다른 글

1.Summary - 1.기본통계 확인하기  (0) 2020.01.12
esquisse - ggplot2 Interactive builder  (0) 2020.01.12
군집 분석 방법에 사용되는 함수  (0) 2020.01.11
DATA SCIENTIST  (0) 2020.01.10
모멘텀(Momentum)  (0) 2020.01.10