달력

4

« 2020/4 »

  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  •  
  •  



 

 

 

하둡 에코시스템(Ecosystem), 도식도, 구성요소

·         하둡과 관련된 프레임워크들을 하둡 에코시스템이라 합니다.

·         하둡 코어 프로젝트(HDFS, MapReduce) 하둡 서브 프로젝트(수집, 분석, 마이닝 ) 구성됩니다.

·         다양한 프레임워크가 존재하며, 사용자의 상황에 맞추어 조립하여 사용할 있습니다.

 

https://codedragon.tistory.com/9570

 

 

 

 

 

 

 

 

빅데이터 플랫폼 아키텍처의 외부 시스템

외부 시스템은 빅데이터 플랫폼 아키텍처의 기본 아키텍처에 포함되지 않습니다.

 

구분

설명

통계 분석 시스템 (SAS, R, 기타 OLAP )

·         Hive ODBC connector 통한 연동을 지원합니다.  특정 통계 분석 시스템의 경우 자체적으로 HDFS connector 지원하는 경우가 있습니다.

·         자체 커넥터를 지원하는 경우는 HDFS 있는 데이터의 loading 대한 안정성을 보장하게 됩니다. (Splunk 등의 상용  , Kibana 등의 오픈소스)

RDBMS (Oracle, mySql, MS-SQL )

·         기본적으로 Sqoop(스쿱) 지원 가능한 범위 내에서 sql 통한 연동이 가능합니다.  

·         sqoop 통해 RDBMS 데이터를 import/export 수행할 때에는 JDBC 드라이버를 통한 연동 방식을 제공합니다.

 

https://codedragon.tistory.com/8104

https://codedragon.tistory.com/3835

https://codedragon.tistory.com/4307

https://codedragon.tistory.com/7627

https://codedragon.tistory.com/6617

https://codedragon.tistory.com/4023

https://codedragon.tistory.com/4024

https://codedragon.tistory.com/3008

https://codedragon.tistory.com/9660

 


Posted by codedragon codedragon

댓글을 달아 주세요