CODEDRAGON ㆍDevelopment/Big Data, R, ...
하이브(Hive)
· 클라우데라에서 개발하였습니다.
· SQL-like HiveQL을 사용하여 하둡을 SQL과 같은 쿼리언어로 사용하게 해줍니다.
· HiveQL을 작성하여 하이브 컴파일러를 통해 맵리듀스 작업을 생성하게 됩니다.
· 하둡의 최상위층에 있는 데이터 웨어하우징 패키지로 다수의 사용자 및 대용량 로그 데이터 처리를 위해 페이스북에서 개발한 정보 플랫폼 중 가장 중요한 구성 요소입니다.
· 페이스북등 소셜네트워킹에서 매일같이 생산되는 대량의 데이터를 관리하고 학습하기 위해 개발되었습니다.
· 페이스북은 하둡 분산파일시스템에 대량의 데이터를 저장해 두고 하이브가 제공하는 믿을만한 SQL 기법을 이용하여 데이터를 분석합니다.
· 하이브는 많은 조직들이 일반적인 목적의 확장 가능한 데이터 처리 플랫폼으로 채택하는 성공적인 아파치 프로젝트로 성장했습니다.
· 메타스토어(Metastore)로 MySQL을 사용합니다.
https://wiki.apache.org/hadoop/Hive
https://en.wikipedia.org/wiki/Apache_Hive
https://ko.wikipedia.org/wiki/%EC%95%84%ED%8C%8C%EC%B9%98_%ED%95%98%EC%9D%B4%EB%B8%8C
'Development > Big Data, R, ...' 카테고리의 다른 글
세종계획 품사태그 (0) | 2018.07.31 |
---|---|
은전한닢 프로젝트 - 오픈소스 한국어 형태소 분석기 (0) | 2018.07.30 |
stringr 패키지 설치하기 & stringr 패키지 임포트 (0) | 2018.07.17 |
Apache Spark(아파치 스파크) (0) | 2018.07.16 |
하둡 1.x vs 하둡 2.x (0) | 2018.07.14 |