Bias & Variance

 

 

 

Bias & Variance

Bias	Variance
실제값에서 얼마나 떨어져 있는지에 대한 척도	예측된 파란색점들끼리 서로 얼마나 떨어져 있는지를 나타내는 척도

 

 

http://scott.fortmann-roe.com/docs/BiasVariance.html

 

red	실제값
blue	예측값

 

 

구분	상태
underfitting Model	High Bias-Low Variance 상태 단 하나의 특성으로 모델링 되어진 경우로 편견을 가지고 있는 상태입니다. bias가 높고 variance는 낮기 때문에 error rate은 큰 상태입니다.
overfitting	Low Bias-High Variance 상태 테스트 데이터에 대해서는 잘 예측하지만 새로운 데이터에 대해서는 예측을 못하는 상태입니다.
Optimum model complexity	Low Bias-Low Variannce 상태 이상적인 모델 feature 추가해서 variance가 올라고 feature가 많이지니까 bias가 낮아지므로 error rate은 낮아지게됩니다. 낮아지다가 최소가 되는 지점이 머신러닝에서 우리가 선택해야될 모델입니다.