과적합 방지 방법 (cross validation) Overcome overfitting w/ cross validation

Bias & Variance red 실제값 blue 예측값

Information theory에서 엔트로피확률분포의 무작위성(randomness)을 설명하는 용도로 사용됩니다.확률분포 p를 갖는 랜덤 변수 X를 표현하기 위한 최소의 비트 수를 나타냅니다. Cross-Entropy(CE)· ≒ Log loss· 1997년 Rubinstein이 희소 사건의 확률을 추정하기 위한 용도로 발표 되었습니다.· 후에 희소 사건뿐만 아니라, 일반적인 조합 최적화(combinatorial optimization)에도 적용이 가능하다는 것이 밝혀지면서 널리 쓰이게 되었습니다. · 원래 엔트로피(Entropy)는 클라우지우스가 열역학 제2의 법칙, 즉 "열은 높은 온도에서 낮은 온도로만 흐른다"는 것을 설명하기 위해 고안된 개념이지만, 1877년 볼츠만에 의해서 확률적인 방법으로 ..

초음파 광물 데이터 · 1988년 존스홉킨스대학교(존스홉킨스대학교의 세즈노프스키(Sejnowski) 교수가 공개한 음파 탐지기 데이터입니다. · 광석과 일반 돌을 가져다 놓고 음파 탐지기를 쏜 후 그 결과를 데이터로 정리해 놓았습니다. · 역전파 알고리즘을 통한 신경망의 예측 정확도를 확인할 수 있습니다. http://archive.ics.uci.edu/ml/datasets/connectionist+bench+(sonar,+mines+vs.+rocks) http://archive.ics.uci.edu/ml/machine-learning-databases/undocumented/connectionist-bench/sonar/ 직접 다운로드

평균 제곱 오차(MSE; Mean Squared Error) · '오차(잔차)의 제곱에 대해 평균을 취한 것'으로 이를 추정의 질적 평가척도로 삼게 됩니다. · 예측값과 타깃값의 차이를 제곱하여 더한 후에 샘플의 개수로 나눈 것입니다. https://en.wikipedia.org/wiki/Mean_squared_error http://www.ktword.co.kr/abbr_view.php?m_temp1=3754 http://bit.ly/2OAJLu8

교사 학습 방법 문제의 종류에 따라 '회귀(Regression)'나 '분류(Classification)'로 나눠집니다. · 회귀(Regression), 예측(Prediction) · 분류(Classification) Regression Classification