CODEDRAGON ㆍDevelopment/Big Data, R, ...
수행 내용-수집 시스템 구축하기
수행 순서
Step1.수집 데이터 유형을 파악한다.
Step2.수집 데이터의 유형 및 종류에 따라 수집 기술을 결정한다.
Step3.수집 솔루션의 아키텍처를 파악하고 적합한 아키텍처를 수립한다.
Step4.하드웨어 스펙 및 규모를 결정하고 하드웨어를 구축한다.
Step5.수집 솔루션을 설치하고 실행 환경을 구성한다.
수집 시스템 구축 절차
단계 |
설명 |
수집 데이터 유형 파악 |
· 수집 세부 계획서 정독 · 데이터의 종류 확인 |
수집기술 결정 |
· 데이터의 유형에 맞는 최적의 수집 기술 선정 |
아키텍처 수립 |
· 수집 솔루션 아키텍처 파악 · 아키텍처 커스터 마이징 |
하드웨어 구축 |
· 하드웨어 스펙 및 규모 결정 · 서버, OS, 스토리지 설치 |
실행 환경 구축 |
· Sqoop, Flume등 수집 솔루션 설치 |
수행 tip
다양한 수집 솔루션의 설치 및 구성을 통해 수집 솔루션의 아키텍처를 이해할 수 있도록 합니다.
제시된 수집 솔루션 외에 다양한 오픈소스 수집 솔루션이 있습니다. 다양한 수집 솔루션을 설치해보고, 가능한 코드 level까지 솔루션을 분석할 수 있도록 합니다.
'Development > Big Data, R, ...' 카테고리의 다른 글
1.Summary - 1.기본통계 확인하기 (0) | 2020.01.12 |
---|---|
esquisse - ggplot2 Interactive builder (0) | 2020.01.12 |
군집 분석 방법에 사용되는 함수 (0) | 2020.01.11 |
DATA SCIENTIST (0) | 2020.01.10 |
모멘텀(Momentum) (0) | 2020.01.10 |