Development/Big Data, R, ...(885)
-
5.Summary - 5.이벤트처리 수행모듈 개발하기
하이브 데이터 타입 하이브 테이블(Hive table)은 다양한 데이터 타입에 대해 지원을 합니다.
-
자연어처리 블로그(ratsgo.github.io)
자연어처리 블로그(ratsgo.github.io) http://bit.ly/2svr8yE
-
R 데이터 구조
R 데이터 구조
-
2.Summary - 2.빅데이터 처리시스템 구성하기
하둡 에코시스템(Ecosystem) · 하둡은 특정 모듈 보다는 데이터처리 플랫폼 전체를 뜻합니다. · 에코 시스템은 하둡 핵심 기능을 보완하는 서브 오픈 소스 소프트웨어들이다. 하둡이란 플랫폼상에 다양한 에코시스템(Eco-system)인 피그(Pig), 주키퍼(Zookeeper), 하이브(Hive), 플럼(Flume), 스쿱(Sqoop), 스파크(Spark) 등 수 많은 오픈소스 기술이 하둡 플랫폼과 함께 사용되며 주로 동물들의 이름을 딴 경우가 많습니다. https://codedragon.tistory.com/9570 HDFS 명령어 예시 HDFS 파일 시스템에 대한 정보를 확인하는 명령어
-
2.Summary - 2.빅데이터 저장관리시스템 구성하기
MongoDB 데이터모델 사례 두 개체의 관계가 n:m인 경우 · 개념적 도메인 데이터 모델에서 두 개 개체의 관계가 m:n인 경우는, NoSQL DBMS의 양쪽 테이블에 link로 표현 가능합니다. · embedding으로 n:m으로 표현할 수도 있는 데, embedding하는 경우에는 데이터의 중복이 필연적으로 발생하므로 데이터 중복에 따른 데이터 불일치 문제가 생기지 않도록 하거나, 문제가 생겨도 상관없는 경우에만 사용해야 합니다. 블로그 데이터의 데이터 모델링 사례 (MongoDB 데이터모델) RDBMS -> MongoDB https://codedragon.tistory.com/2932 https://codedragon.tistory.com/9710 MongoDB Query 예시 MongoDB에서..
-
4.Summary - 4.실시간 수행모듈 개발하기
스쿱(Sqoop) · 스쿱(Sqoop)은 RDBMS와 HDFS 사이에 데이터를 주고받을 수 있는 데이터 통합 툴입니다. · 하이브테이블(Hive table), Avro 파일 등 하둡의 다양한 파일 형태를 HDFS로 가져오거나 내보낼 수 있습니다. https://codedragon.tistory.com/9570