Development/Big Data, R, ...(885)
-
XOR(exclusive OR) 문제 및 해결
XOR(exclusive OR) 문제 및 해결퍼셉트론의 한계
-
과적합 도식도
과적합 도식도· 검은색 직선으로 표현된 Model 1은 단순한 직선으로 데이터의 (X, Y)의 관계를 표현한 모델입니다. 반면 녹색선으로 표현한 Model 2는 높은 차수의 다항식으로 데이터를 모델링한 것입니다. 단순히 주어진 데이터에 대한 정확도로만 따지면 Model 1이 Model 2에 비해 정확하지 않습니다.· 데이터의 분포를 보면 복잡한 곡선으로부터 나온 데이터가 아니라 단순 선형 관계로부터 나온 데이터일 가능성이 높아 보입니다. 즉, Model 1이 Model 2에 비해 좀 더 일반적인 모델일 가능성이 있고, 따라서 새로운 점이 위치할 만한 좌표를 더 잘 표현하는 모델일 수 있습니다.· 반면 모델 2는 데이터를 관찰하면서 끼어든 노이즈(Noise)를 모델에 반영하여 관찰 데이터 자체는 충실히 표..
-
과적합 방지 방법 (cross validation)
과적합 방지 방법 (cross validation) Overcome overfitting w/ cross validation
-
Bias & Variance
Bias & Variance red 실제값 blue 예측값
-
Cross-Entropy(CE)
Information theory에서 엔트로피확률분포의 무작위성(randomness)을 설명하는 용도로 사용됩니다.확률분포 p를 갖는 랜덤 변수 X를 표현하기 위한 최소의 비트 수를 나타냅니다. Cross-Entropy(CE)· ≒ Log loss· 1997년 Rubinstein이 희소 사건의 확률을 추정하기 위한 용도로 발표 되었습니다.· 후에 희소 사건뿐만 아니라, 일반적인 조합 최적화(combinatorial optimization)에도 적용이 가능하다는 것이 밝혀지면서 널리 쓰이게 되었습니다. · 원래 엔트로피(Entropy)는 클라우지우스가 열역학 제2의 법칙, 즉 "열은 높은 온도에서 낮은 온도로만 흐른다"는 것을 설명하기 위해 고안된 개념이지만, 1877년 볼츠만에 의해서 확률적인 방법으로 ..
-
초음파 광물 데이터
초음파 광물 데이터 · 1988년 존스홉킨스대학교(존스홉킨스대학교의 세즈노프스키(Sejnowski) 교수가 공개한 음파 탐지기 데이터입니다. · 광석과 일반 돌을 가져다 놓고 음파 탐지기를 쏜 후 그 결과를 데이터로 정리해 놓았습니다. · 역전파 알고리즘을 통한 신경망의 예측 정확도를 확인할 수 있습니다. http://archive.ics.uci.edu/ml/datasets/connectionist+bench+(sonar,+mines+vs.+rocks) http://archive.ics.uci.edu/ml/machine-learning-databases/undocumented/connectionist-bench/sonar/ 직접 다운로드