3.Summary - 3.분산처리 수행모듈 개발하기

 

 

 

하이브(Hive)

·         피그와 유사한 대규모 데이터 세트에 대한 분석을 위해 페이스북(facebook)에서 개발된 데이터 분석용 서비스입니다.

·         하이브는 하이브 큐엘(Hive QL)이라는 명령어를 사용해서 질의를 수행하고 데이터를 분석하는 서비스입니다.

·         하이브도 맵리듀스 프로그램으로 전환이 되어서 데이터 처리를 진행하지만, 기존 RDBMS의 SQL에 익숙한 사용자들에게 거의 동일한 명령어를 제공하므로 맵 리듀스 프로그램에 익숙하지 않은 사용자에게 원하는 정보를 쉽게 이용할 수 있도록 해줍니다.

 

https://codedragon.tistory.com/9570

하둡 에코시스템(Ecosystem), 도식도, 구성요소

 

 

 

  

오픈소스 하둡 배포판의 기본 구성 요소

표준 오픈소스 하둡 배포판(아파치 하둡)에는 다음이 포함되어 있습니다.

HDFS (Hadoop Distributed File System)	·         하둡 분산파일시스템 ·         빅데이터 파일을 여러 대의 서버에 분산 저장하기 위한 파일시스템
맵리듀스 (MapReduce)	·         각 서버에서 데이터를 분산 처리하는 분산병렬처리를 위한 프레임워크
하둡 커먼 (Hadoop Common)	·         다른 하둡 모듈이 공통으로 사용

 

https://codedragon.tistory.com/4487

하둡(Hadoop) 배포판의 기본 구성 요소