Development/Big Data, R, ...(885)
-
분석 모형 구축시 오류(error) - 일반화 오류(generalization error), 훈련 오류(training error)
분석 모형 구축시 오류(error)분석 모형을 구축하는 데에는 일반화 오류와 훈련 오류라는 두 가지 종류의 오류가 발생할 수 있고, 구축된 분석 모형은 이를 고려하여 검증되어야 합니다(P. Tan, M. Steinbach, and V. Kumar, 2007)
-
1.Summary-1.빅데이터 품질관리시스템 설계하기
빅데이터 품질 요소
-
CRISP-DM Process
CRISP-DM Process CRISP-DM Process는 6단계로 구성되어 있습니다. 각 단계는 폭포수 모델처럼 일방향으로 구성되어 있지 않고 단계 간 피드백(Feedback)을 통하여 단계별 완성도를 높이게 되어 있습니다.
-
SMOTE(Synthetic Minority Oversampling Technique), SMOTE 수행 단계
SMOTE(Synthetic Minority Oversampling Technique) · 비율이 낮은 분류의 데이터를 만들어내는 방법입니다. · SMOTE는 숫자형 데이터를 기본으로 하여 작성된 알고리즘입니다. · R: {DMwR} 패키지의 SMOTE() 함수는 SMOTE 알고리즘을 구현한 함수로 비율이 낮은 분류의 데이터를 생성하는 기능과 비율이 높은 쪽 데이터를 적게 샘플링하는 기능을 제공합니다. SMOTE 수행 단계
-
1.Summary - 1.저장모델 설계하기
빅데이터 저장 계획 수립시 체크리스트 https://codedragon.tistory.com/9705 빅데이터 저장 계획 수립하기 - 수행 단계
-
imbalanced data
imbalanced data · imbalanced data는 각 측정항목이 동일한 크기의 dataset을 가지지 못한 것을 의미합니다. (total) · A는 220개인데 B, C, D는 10개밖의 input을 가지고 있어 모두 동일한 크기의 dataset을 가지고 있지 못합니다. 이 경우가 imbalanced data가 됩니다. MODEL 2 Predictions output output output output Predict data Actual class A B C D total input A 217 2 0 1 220 input B 7 1 0 2 10 input C 7 1 1 1 10 input D 2 4 3 1 10 Actual data total 233 8 4 5 250 Accuracy Com..