Development/Big Data, R, ...(885)
-
요구사항 검증시 재검토 대상
요구사항 검증시 재검토 대상 · 요구사항 검증시 재검토의 대상이 발생 할 수 있습니다. · 일반적인 재검토의 대상이 되는 것은 정보 요구 사항 정의서, 정보 항목 목록, 유즈케이스 정의서 , 클래스 다이어그램 등이 있습니다. 재검토 계획서 포함 항목 재검토 계획서에 포함되어야 할 사항은 아래와 같습니다.
-
2.Summary - 2.빅데이터 입출력구조 설계하기
하둡 에코시스템(Ecosystem), 도식도, 구성요소 · 하둡과 관련된 프레임워크들을 하둡 에코시스템이라 합니다. · 하둡 코어 프로젝트(HDFS, MapReduce)와 하둡 서브 프로젝트(수집, 분석, 마이닝 등)로 구성됩니다. · 다양한 프레임워크가 존재하며, 사용자의 상황에 맞추어 조립하여 사용할 수 있습니다. https://codedragon.tistory.com/9570 빅데이터 플랫폼 아키텍처의 외부 시스템 외부 시스템은 빅데이터 플랫폼 아키텍처의 기본 아키텍처에 포함되지 않습니다.
-
신경망 종류
신경망 종류신경망은 방향을 갖는 연결 그래프(뉴런이라는 노드와 연결강도를 갖는 간선으로 구성)입니다. · 퍼셉트론(Perceptron)· 아달라인(ADALINE: Adaptive Linear Neuron)· 로지스틱 회귀분석(Logistic Regression)· SVM(Support Vector Machine)· 다층 퍼셉트론(MLP: Multi-Layer Perceptron)· 합성곱 신경망(CNN: Convolutional Neural Network)
-
교차검증(Cross-validation)방법, k-fold 교차검증 ( k-fold CV; k-fold Cross-validation)
k-fold 교차검증 (k-fold CV) · ≒ K-fold Cross Validation ≒ K-fold Cross Validation Scheme · ≒ K겹 교차 검증 ≒ 다중 교차 검증 · 과다한 연산량을 줄여주는 방법입니다. · 수집된 샘플들의 검증을 위한 통계적인 분석방법의 하나로 강한 성능 추정 방법입니다. · 전체 집합을 k개로 나눈 뒤 하나를 다른 것들과 비교하여 전체적으로 특이한 집합이 없는지 확인하는 방식입니다. · 데이터를 무작위(Random)로 섞은 후 K등분 한 것 중 하나를 검정(Validation) Set으로 사용하는 방법입니다. · 교차 검증은 데이터를 훈련 데이터와 검증 데이터로 나누어 모델링 및 평가하는 작업을 K회 반복합니다. · 전체 데이터를 사이즈가 동일한 k개의..
-
데이터 분석 절차
데이터 분석 절차
-
과적합 발생 여부을 알아내는 방법
과적합 발생 여부을 알아내는 방법 · 과적합은 층이 너무 많거나 변수가 복잡해서 발생하기도 하고 테스트셋과 학습셋이 중복될 때 생기기도 합니다. · 딥러닝은 학습 단계에서 입력, 은닉층, 출력층의 노드들에 상당히 많은 변수들이 투입됩니다. 따라서 딥러닝을 진행하는 동안 과적합에 빠지지 않게 늘 주의해야 합니다. · 과적합 발생 여부를 알아내려면 주어진 데이터 중 일부는 모델을 만드는 훈련 데이터로 사용하고, 나머지 일부는 테스트 데이터로 사용해 모델을 평가해야 합니다. · 즉, 데이터 추출을 통한 모형평가가 필요합니다.