2.Summary - 2.빅데이터 입출력구조 설계하기

 

 

 

하둡 에코시스템(Ecosystem), 도식도, 구성요소

·         하둡과 관련된 프레임워크들을 하둡 에코시스템이라 합니다.

·         하둡 코어 프로젝트(HDFS, MapReduce)와 하둡 서브 프로젝트(수집, 분석, 마이닝 등)로 구성됩니다.

·         다양한 프레임워크가 존재하며, 사용자의 상황에 맞추어 조립하여 사용할 수 있습니다.

 

https://codedragon.tistory.com/9570

 

 

 

 

 

 

 

 

빅데이터 플랫폼 아키텍처의 외부 시스템

외부 시스템은 빅데이터 플랫폼 아키텍처의 기본 아키텍처에 포함되지 않습니다.

 

구분	설명
통계 분석 시스템 (SAS, R, 기타 OLAP 툴)	·         Hive ODBC connector를 통한 연동을 지원합니다.  특정 통계 분석 시스템의 경우 자체적으로 HDFS connector를 지원하는 경우가 있습니다. ·         자체 커넥터를 지원하는 경우는 HDFS에 있는 데이터의 loading에 대한 안정성을 보장하게 됩니다. (Splunk 등의 상용  툴, Kibana 등의 오픈소스)
RDBMS (Oracle, mySql, MS-SQL 등)	·         기본적으로 Sqoop(스쿱)의 지원 가능한 범위 내에서 sql 을 통한 연동이 가능합니다.   ·         sqoop을 통해 RDBMS로 데이터를 import/export 를 수행할 때에는 JDBC 드라이버를 통한 연동 방식을 제공합니다.

 

https://codedragon.tistory.com/8104

https://codedragon.tistory.com/3835

https://codedragon.tistory.com/4307

https://codedragon.tistory.com/7627

https://codedragon.tistory.com/6617

https://codedragon.tistory.com/4023

https://codedragon.tistory.com/4024

https://codedragon.tistory.com/3008

https://codedragon.tistory.com/9660