빅데이터 기술 분류

 

 

 

빅데이터 기술 분류

빅데이터로부터 지식을 발굴해 활용하기까지는 데이터 생성 및 수집, 저장, 처리, 분석, 시각화와 같은 여러 과정을 거칩니다. 각 단계별로 지원하는 다양한 기술이 있습니다.

 

과정	설명	해당기술
생성	조직의 내부와 외부에 존재하는 여러 데이터를 생성하는 기술	• 데이터베이스(Database) • 파일관리시스템(File Management  system) • 인터넷으로 연결된 파일 등
수집	조직의 내부와 외부에서 생성되는 여러 데이터 소스로부터 필요로 하는 데이터를 검색하여 수동 또는 자동으로 수집하는 과정과 관련된 기술로 단순 데이터 확보가 아닌 검색, 수집, 변환을 통해 정제된 데이터를 확보하는 기술	• 로그 수집기 • 크롤링 • 센싱 • RSS Reader, Open API • ETL(Extraction, Transformation, Loading) 등
저장	작은 데이터라도 모두 저장하고 실시간으로 저렴하게 데이터를 처리하고 처리된 데이터를 더 빠르고 쉽게 분석하도록 효율적으로 저장하는 기술	• 분산 파일 시스템(Distributed File System) • NoSQL • 병렬 DBMS 등
처리	엄청난 양의 데이터의 저장, 수집, 관리, 유통, 분석을 처리하는 일련의 기술	• 실시간 처리 • 분산병렬처리 • 맵리듀스(MapReduce) 등
분석	데이터를 효율적으로 정확하게 분석하여 비즈니스 등의 영역에 적용하기 위한 기술로 이미 여러 영역에서 활용해온 기술	• 통계분석 • 데이터 마이닝 • 텍스트 마이닝 • 평판분석 • 소셜 네트워크 분석 등
시각 화	자료를 시각적으로 묘사하는 기술로, 빅데이터는 기존의 단순 선형적 구조의 방식으로 표현하기 힘들기 때문에 필수적인 기술	• 정보 편집 기술 • 정보 시각화 기술 • 시각화 도구 등

 

<한국정보화진흥원, 빅데이터 기술 분류 및 현황, 2013>

http://codedragon.tistory.com/8102