워크숍워크숍은 어떠한 목적을 달성하기 위하여 전문 진행자의 진행 아래 프로젝트의 현업 부서 측과 전산 부서 측의 주요 구성원들이 함께 참여하는 회의이다. 워크숍 사전준비 사항워크숍을 통해 달성해야 할 목표와 구체적인 논의 사항들을 도출하기 위해서 사전 준비가 필요합니다.

SQOOP(스쿱)· 아파치 스쿱· 하둡의 입력을 파일에서 RDBMS를 사용할 수 있게 해줍니다. RDBMS데이터를 하둡에서 접근할 수 있게 만들어줍니다.· 1.4에서 2.x로 변경되면서 클라이언트/서버형태로 변경되었습니다. http://sqoop.apache.org/ http://bit.ly/2sc4AmE

하둡 에코시스템(Ecosystem) 하둡은 특정 모듈 보다는 데이터처리 플랫폼 전체를 뜻합니다. 에코 시스템은 하둡 핵심 기능을 보완하는 서브 오픈 소스 소프트웨어들이다. 하둡이란 플랫폼상에 다양한 에코시스템(Eco-system)인 피그(Pig), 주키퍼(Zookeeper), 하이브(Hive), 플럼(Flume), 스쿱(Sqoop), 스파크(Spark) 등 수 많은 오픈소스 기술이 하둡 플랫폼과 함께 사용되며 주로 동물들의 이름을 딴 경우가 많습니다. Hadoop 에코 시스템 도식도 · 주키퍼(ZooKeeper) · 피그(Pig) · 에이치베이스(Hbase) · 하이브(Hive) · 스파크(Spark) · 플럼(Flume)과 스쿱(Sqoop) · 우지(Oozie) · 에이브로(Avro) 주키퍼(ZooKe..

평균 제곱근 오차(RMSE; Root Mean Squared Error)· ≒ 제곱근 평균 제곱 오차· ≒ 근사평균제곱오차· ≒ 평균 제곱근 편차(Root Mean Square Deviation; RMSD) · 추정치와 실제값 간의 차이를 위한 척도입니다.· 표준편차와 같이 예측이 얼마나 벗어났는지 확인할 수 있습니다. http://bit.ly/2OAJLu8https://en.wikipedia.org/wiki/Root-mean-square_deviation RMSE 계산식

모형 평가 · ≒ 모델 성능 평가 · ≒ 모델 평가 ≒ 모델 평가 검증 · ≒ 모델링 성능 평가 · 분석 모형의 적합성 판단 및 조정을 합니다. · 학습∙검증 데이터 결과를 비교 및 최적화합니다. · 예측분석에서 예측모델의 성능을 평가합니다. 머신러닝 알고리즘 어떠한 데이터를 이용해서, 어떠한 문제를 풀 때 정확한 결과를 얻는 것이 아니라 알고리즘에 의해 데이터를 분류와 예측을 수행하는 알고리즘입니다. 모델 평가 ≒ 모형 평가 머신러닝 알고리즘에 의한 결과가 좋은지를 판단하는 것이 모델 평가입니다.

요구사항 분석 절차 · 빅데이터 저장 모델 설계를 위한 요구사항 분석 절차는 정보 시스템을 신규로 개발하거나 기존 시스템을 개선하는 데 필요한 데이터 요구사항을 수집하여 분석하는 일반적인 절차 에서 크게 벗어나지 않습니다. 기본적으로 요구사항을 수집하고, 이를 분석하여 명세하고 검증을 통해 확정하는 4단계로 이루어집니다. · 요구사항 분석 단계에서 이전 단계에서 수집된 요구사항을 분석하되, 미비한 부분이 있으면 추가로 수집합니다. · 요구사항 명세 단계에서도 요구사항 분석결과를 상세화하고 이를 바탕으로 명세서를 작성하나, 이전 단계에서 수집이 추가로 필요하거나 구체적인 분석이 미비한 경우 추가로 요구사항 수집과 분석을 수행할 수 있습니다. · 요구사항 검증단계에서도 검증상 미비한 점이 발생하면 마찬가지로..