3.Summary - 3.분산처리 수행모듈 개발하기

CODEDRAGON Development/Big Data, R, ...

반응형

 

 

 

하이브(Hive)

·         피그와 유사한 대규모 데이터 세트에 대한 분석 위해 페이스북(facebook)에서 개발된 데이터 분석용 서비스입니다.

·         하이브는 하이브 큐엘(Hive QL)이라는 명령어를 사용해서 질의를 수행하고 데이터를 분석하는 서비스입니다.

·         하이브도 맵리듀스 프로그램으로 전환이 되어서 데이터 처리를 진행하지만, 기존 RDBMS SQL 익숙한 사용자들에게 거의 동일한 명령어를 제공하므로 리듀스 프로그램에 익숙하지 않은 사용자에게 원하는 정보를 쉽게 이용할 있도록 해줍니다.

 

https://codedragon.tistory.com/9570

 

하둡 에코시스템(Ecosystem), 도식도, 구성요소

하둡 에코시스템(Ecosystem) 하둡은 특정 모듈 보다는 데이터처리 플랫폼 전체를 뜻합니다. 에코 시스템은 하둡 핵심 기능을 보완하는 서브 오픈 소스 소프트웨어들이다. 하둡이란 플랫폼상에 다

codedragon.tistory.com

 

 

 

  

오픈소스 하둡 배포판의 기본 구성 요소

표준 오픈소스 하둡 배포판(아파치 하둡)에는 다음이 포함되어 있습니다.

HDFS
(Hadoop Distributed File System)
·         하둡 분산파일시스템
·         빅데이터 파일을 여러 대의 서버에 분산 저장하기 위한 파일시스템
맵리듀스
(MapReduce)
·         서버에서 데이터를 분산 처리하는 분산병렬처리를 위한 프레임워크
하둡 커먼
(Hadoop Common)
·         다른 하둡 모듈이 공통으로 사용

 

https://codedragon.tistory.com/4487

 

하둡(Hadoop) 배포판의 기본 구성 요소

오픈소스 하둡 배포판의 기본 구성 요소 표준 오픈소스 하둡 배포판(아파치 하둡)에는 다음이 포함되어 있는데요. HDFS (Hadoop Distributed File System) 하둡 분산파일시스템 빅데이터 파일을 여러 대의

codedragon.tistory.com

 

 

 

반응형