Apache Spark · 아파치 스파크 · Cluster Computing with Working Sets · UC 버클리의 AMPlab에서 만든 경량 오픈 소스 분산처리 프레임워크입니다. · 하둡의 MapReduce를 대체할 수 있는 분산처리 프레임워크입니다. · 단순 맵리듀스외에 SQL/스트리밍/머신러닝이 묶인 구조입니다. · 메모리를 최대로 활용해 반복작업에 높은 효율을 보입니다. (하둡은 디스크 기반입니다.) · 스칼라(Scala)언어로 되어 있습니다. https://en.wikipedia.org/wiki/Apache_Spark https://spark.apache.org/ Spark의 언어지원 · 스칼라(Scala)언어를 기반으로 되어 있습니다. · 자바, 파이썬도 지원합니다. · Spark ..

하둡 1.x vs 하둡 2.x

McKinsey, Big data: The next frontier for innovation, competition, and productivityhttps://www.mckinsey.com/business-functions/digital-mckinsey/our-insights/big-data-the-next-frontier-for-innovation 직접 다운로드

smoothiecharts 스트리밍 데이터를 표현할 때 알맞은 그래프를 제공해 줍니다. CPU 속도, 네트워크 속도 등 계속해서 데이터를 호출해내는 데이터로 그래프를 만들 때 적합합니다. http://smoothiecharts.org https://github.com/joewalnes https://github.com/drewnoakes 직접다운로드

범주형 데이터(Categorical)· ≒ 카테고리(category)값 ≒ 범주형 값· 데이터가 사전에 정해진 특정 유형으로만 분류되는 데이터를 뜻합니다.· 카테고리값은 숫자 값과 달리 주로 기호로 표시되며 비연속적입니다.· 큰 차이점은 두 개의 데이터가 있을 때 이들의 크기나 가치, 혹은 순서를 비교할 수 있는가 없는가입니다. 카테고리값은 크기나 가치를 비교할 수 없습니다. 클래스(class)일반적으로 카테고리값은 가질 수 있는 경우의 수가 제한되어 있습니다. 이러한 경우의 수를 '클래스(class)'라고 합니다.클래스(class)는 두가지 종류가 있습니다.

빅데이터 시대의 데이터 자원 확보와 품질 관리 방안http://cccr.or.kr/comm/bbs/board.php?bo_table=sub15&wr_id=27 직접다운로드