Development/Big Data, R, ...(885)
-
교사 학습 도식도
교사 학습 도식도 · 이미 주어진 입력에 대해 어떤 결과가 나올지 알고 있는( labeling이 된) , 출력과의 관계를 이용해서 데이터들을 해석할 수 있는 모델을 만들게 됩니다. 즉, 입력 데이터를 주입하여 지도학습을 통해 정답에 해당되는 모델을 만들어내게 됩니다. 그것을 바탕으로 새로운 데이터를 추정(predict)하게 됩니다. · [입력(Known data), 출력(Known response)] => 모델(Model) => 예측(predict) · 고양이 사진과 강아지 사진을 입력 데이터로 주어 머신러닝을 통해 학습수행하면 사진에서 고양이와 강아지를 구분해 내는 모델을 생성하게 됩니다. 이 모델을 통해서 새로운 사진에 대해 추정을 하게 됩니다. 학습용 데이터 집합 준비 · 개를 찍은 사진을 입력하면..
-
데이터 마이닝(Data Mining)
데이터 마이닝(Data Mining) · 대용량 데이터로부터 드러나지 않은 데이터간의 패턴, 상호관련성 및 유용한 정보를 추출하는 기술입니다. · 통계 및 수학적 기술뿐 아니라 기계학습, 패턴인식, 신경망 등의 기술들을 이용하여 대용량의 데이터에 숨겨진 의미 있는 패턴, 추세, 지식들을 발견하는 기술입니다. · 대용량 데이터내에서 의미있는 패턴을 찾아 집단을 분류하고 예측하며, 유사집단으로 묶거나 동시 또는 순차적으로 발생하는 의미 있는 연관관계를 도출합니다. · 거대한 양의 데이터 속에서 쉽게 드러나지 않는 유용한 정보를 찾아내는 과정을 말합니다. · 데이터 마이닝은 기존 데이터베이스에 마이닝 기술을 적용하여 이들 데이터 간에 숨은 의미 있는 관계성을 다양한 방법으로 발견한 후 이를 현실에 효과적으로 ..
-
2.Summary - 워크숍, 워크숍 사전준비 사항
워크숍워크숍은 어떠한 목적을 달성하기 위하여 전문 진행자의 진행 아래 프로젝트의 현업 부서 측과 전산 부서 측의 주요 구성원들이 함께 참여하는 회의이다. 워크숍 사전준비 사항워크숍을 통해 달성해야 할 목표와 구체적인 논의 사항들을 도출하기 위해서 사전 준비가 필요합니다.
-
SQOOP(스쿱)
SQOOP(스쿱)· 아파치 스쿱· 하둡의 입력을 파일에서 RDBMS를 사용할 수 있게 해줍니다. RDBMS데이터를 하둡에서 접근할 수 있게 만들어줍니다.· 1.4에서 2.x로 변경되면서 클라이언트/서버형태로 변경되었습니다. http://sqoop.apache.org/ http://bit.ly/2sc4AmE
-
하둡 에코시스템(Ecosystem), 도식도, 구성요소
하둡 에코시스템(Ecosystem) 하둡은 특정 모듈 보다는 데이터처리 플랫폼 전체를 뜻합니다. 에코 시스템은 하둡 핵심 기능을 보완하는 서브 오픈 소스 소프트웨어들이다. 하둡이란 플랫폼상에 다양한 에코시스템(Eco-system)인 피그(Pig), 주키퍼(Zookeeper), 하이브(Hive), 플럼(Flume), 스쿱(Sqoop), 스파크(Spark) 등 수 많은 오픈소스 기술이 하둡 플랫폼과 함께 사용되며 주로 동물들의 이름을 딴 경우가 많습니다. Hadoop 에코 시스템 도식도 · 주키퍼(ZooKeeper) · 피그(Pig) · 에이치베이스(Hbase) · 하이브(Hive) · 스파크(Spark) · 플럼(Flume)과 스쿱(Sqoop) · 우지(Oozie) · 에이브로(Avro) 주키퍼(ZooKe..
-
평균 제곱근 오차(RMSE; Root Mean Squared Error)
평균 제곱근 오차(RMSE; Root Mean Squared Error)· ≒ 제곱근 평균 제곱 오차· ≒ 근사평균제곱오차· ≒ 평균 제곱근 편차(Root Mean Square Deviation; RMSD) · 추정치와 실제값 간의 차이를 위한 척도입니다.· 표준편차와 같이 예측이 얼마나 벗어났는지 확인할 수 있습니다. http://bit.ly/2OAJLu8https://en.wikipedia.org/wiki/Root-mean-square_deviation RMSE 계산식