1.Summary - 1.저장모델 설계하기

1.Summary - 1.저장모델 설계하기

CODEDRAGON ㆍDevelopment/Big Data, R, ...

빅데이터 저장 계획 수립시 체크리스트

빅데이터 저장 계획 수립하기 - 수행 단계

단계	설명
Step1	안정성과 신뢰성 확보 및 접근성 제어계획 수립한다
Step2	빅데이터 저장 시스템의 관리자 및 관련 사용자들을 정의한다.
Step3	저장 대상 데이터의 특성을 파악하여 정리 분석한다.
Step4	빅데이터 저장 시스템 구축을 위한 세부계획을 수립한다.
Step5	빅데이터 저장계획 수립에서 도출된 산출물은 다음과 같다.

빅데이터 저장 관리시스템

분산 파일 시스템 방식

· 빅데이터를 확장 가능한 분산 파일 형태로 저장하는 방식입니다.

· 대표적인 예는 HDFS, 구글의 GFS 등이 있습니다.

· 분산 파일 시스템 저장 방식은 저사양 서버들을 활용하여 대용량, 분산, 데이터 집중형의 애플리케이션을 지원하면 사용자들에게 고성능 fault-tolerance 환경을 제공합니다.

데이터베이스 방식

데이터베이스 방식은 크게 RDBMS 방식과 NoSQL 방식으로 나눌 수 있습니다.

방식

설명

RDBMS 방식

· 기존에 많이 사용하던 관계형 데이터베이스 시스템을 이용하는 방식입니다.

· 정형 데이터이고, 기존에 운영 중이던 레거시 시스템으로부터 수집 추출한 데이터를 대량으로 저장할 때 사용할 수 있는 방식입니다.

NoSQL 방식

· 대용량 데이터베이스를 저장하기 위하여 전통적인 관계형 데이터베이스 시스템보다 상대적으로 제한이 덜한 데이터 모델을 기반으로 하며, 수평적 확장성(또는 scale-out), 데이터 복제, 간편한 APi 제공, 일관성 보장 등의 장점이 있습니다.

· NoSQL 데이터베이스 시스템에는 여러 가지 저장 시스템들이 사용되고 있는데, 데이터 모델에 따라 document-oriented 데이터베이스, key-value 데이터베이스, column-oriented 데이터베이스로 분류할 수 있습니다.

요구사항 수집 방법

구분	요구사항을 수집 방법
문서의 경우	· 제안요청서(RFP: Request For Proposal)
기존 시스템이 존재하는 경우	· 시스템 매뉴얼 · 사용자 매뉴얼 · 사용자 인터뷰
문서, 기존 시스템이 존재하지 않는 경우	· 포커스 그룹인터뷰(FGI: Focus Group Interview) · 설문 · 워크숍 · 등 다양한 요구사항 수집 기법을 활용

CRISP-DM Process (0)	2019.12.21
SMOTE(Synthetic Minority Oversampling Technique), SMOTE 수행 단계 (0)	2019.12.20
imbalanced data (0)	2019.12.18
2.Summary - 2.빅데이터 분석시스템 구성하기 (0)	2019.12.17
공공 인공지능 오픈 API·DATA 서비스 포털 (0)	2019.12.17

CodeDragon