과적합 검증

 

 

알고리즘별 정분류율 - IBk, J48, Logistic, SMO

10 교차검증 결과와 useTrainingSet 을 비교하여 과적합 검증을 수행합니다.

 

알고리즘	정분류율 (10-fold)	정분류율 (Use training set)	차이
IBk	72      %	100      %	100-72=28
J48	70.5    %	78.6    %	78.6-70.5=8.1
Logistic	75.2    %	75.2    %	75.2-75.2=0
SMO	75.1    %	78.4    %	78.4-75.1=3.3

 

 

 

 

 

데이터 해석

Logistic 과 SMO (서포트벡테머신 분류기) 의 차이는 각 각 0%, 3% 이며 이는 과적합이 크게 발생하지 않는다는 것을 의미합니다. 즉 과적합에 어느정도 자유롭다고 할 수 있습니다.

IBk 는 28%로 과적합인 상태이며 8% 차이인 J48 은 과적합이 발생될 가능성이 높습니다.

 

10 교차검증 결과와 useTrainingSet 을 비교하면 과적합을 검증할 수 있습니다.

서포트벡터머신(SVM)은 사용하면 과적합에 어느정도 자유롭다는 것을 10 교차검증 결과와 useTrainingSet 을 비교함으로써 입증이 되어졌습니다.