CODEDRAGON ㆍDevelopment/Big Data, R, ...
k-fold 교차검증 (k-fold CV)
· ≒ K-fold Cross Validation ≒ K-fold Cross Validation Scheme
· ≒ K겹 교차 검증 ≒ 다중 교차 검증
· 과다한 연산량을 줄여주는 방법입니다.
· 수집된 샘플들의 검증을 위한 통계적인 분석방법의 하나로 강한 성능 추정 방법입니다.
· 전체 집합을 k개로 나눈 뒤 하나를 다른 것들과 비교하여 전체적으로 특이한 집합이 없는지 확인하는 방식입니다.
· 데이터를 무작위(Random)로 섞은 후 K등분 한 것 중 하나를 검정(Validation) Set으로 사용하는 방법입니다.
· 교차 검증은 데이터를 훈련 데이터와 검증 데이터로 나누어 모델링 및 평가하는 작업을 K회 반복합니다.
· 전체 데이터를 사이즈가 동일한 k개의 하부집합(subset)으로 나누고 k번째의 하부집합을 검증용 데이터로, 나머지 k-1개의 하부집합을 훈련용 데이터로 사용합니다. 이를 k번 반복 측정하고 각각의 반복측정 결과를 평균 낸 값을 최종 평가로 사용합니다.
· K 값은 10으로 지정하여 일반적으로 10-fold 교차검증이 사용되나 하부 집합의 분포에 따라 적절한 k의 선정이 필요합니다.
검증용 데이터 |
동일한 k개의 하부집합(subset)으로 나누고 k번째의 하부집합을 사용 |
훈련용 데이터 |
나머지 k-1개의 하부집합을 사용 |
'Development > Big Data, R, ...' 카테고리의 다른 글
2.Summary - 2.빅데이터 입출력구조 설계하기 (0) | 2019.12.09 |
---|---|
신경망 종류 (0) | 2019.12.08 |
데이터 분석 절차 (0) | 2019.12.08 |
과적합 발생 여부을 알아내는 방법 (0) | 2019.12.08 |
3.Summary - 3.빅데이터 적재모듈 개발하기 (0) | 2019.12.08 |