측정지표(2)
-
불확실성 측정지표(Uncertainty measure)
불확실성 측정지표(Uncertainty measure)· 불확실성 측정지표는 지니지수와 엔트로피 지수가 있습니다.· 두 지수의 값의 범위는 다르지만 해석은 값의 크기에 따라 유사합니다.· 즉, 값이 클수록↑ 이질적(Diversity)↑이며 순수도(Purity)가 낮다고↓ 할 수 있습니다. 불확실성 측정지표 종류· 지니지수(Gini index)· 엔트로피 지수(Entropy index)
-
엔트로피 지수(Entropy index)
엔트로피 지수(Entropy index)· ≒ Entropy Measure· 무질서도에 대한 측정 지표입니다.· 확률 변수의 불확실성을 수치로 나타낸 것입니다. · 의사결정나무에서 엔트로피 지수가 가장 작은 예측 변수와 이 때의 최적분리에 의해 자식마디를 형성합니다. · 엔트로피가 0일 때, 출력은 매우 확실한 상태입니다.(CASE1/CASE2)· 엔트로피는 출력에 대해서 아무런 정보를 갖고 있지 않을 때 (어떠한 출력값도 동등한 확률로 나옴) 최고 값을 가집니다.(CASE3) 동전 던지기의 앞/뒤 확률이 같은 경우 클래스가 두 개인 문제에서 하나의 클래스의 발생 확률에 대한 엔트로피의 변화 T 데이터 세트 k 목표변수의 범주의 수 p 범주비율 2개의 범주가 (0.5, 0.5) 비율로 구성(T0) 5개의..