Development/Big Data, R, ...(883)
-
보스턴 집값 데이터(Boston Housing Data)
보스턴 집값 데이터(Boston Housing Data) · 1978년, 하버드대학교 도시개발학과에서 집값에 가장 큰 영향을 미치는 것이 '깨끗한 공기'라는 연구 결과 논문을 발표하였습니다. · 발표 후 자신의 주장을 뒷받침하기 위해 집값의 변동에 영향을 미치는 여러 가지 요인을 모아서 환경과 집값의 변동을 보여주는 데이터셋을 만들어서 공개였습니다. · 그 이후, 공개된 데이터셋은 머신러닝의 선형 회귀를 테스트하는 가장 유명한 데이터로 사용되고 있습니다. Harrison, David, and Daniel L. Rubinfeld. "Hedonic housing prices and the demand for clean air." Journal of environmental economics and manag..
-
교차 엔트로피
교차 엔트로피 · 주로 분류 문제에서 많이 사용됩니다. · 범주형 교차 엔트로피, 이항 교차 엔트로피가 있습니다. 계열 구분 설명 교차 엔트로피 categorical_crossentropy · 범주형 교차 엔트로피 · 일반적인 분류에 사용 교차 엔트로피 binary_crossentropy · 이항 교차 엔트로피 · 두 개의 클래스 중에서 예측할 때 사용 · 예측 값이 참과 거짓 둘 중 하나인 형식일 때 사용합니다.
-
특이점 제거
특이점 제거 · = 이상 값 제거 · 특이점은 머신러닝 결과에 영향을 미칠 수 있으므로 제거해야 합니다. · 신뢰 구간을 정하고 학습 데이터 중 범위를 벗어난 값을 제거합니다. · 신뢰 구간을 벗어나는 데이터를 처리하지 않으므로 불필요한 머신러닝 수행시간이 단축됩니다.
-
구글 파일 시스템(Google File System)
구글 파일 시스템(Google File System) · 구글은 웹 검색, 클라우드 컴퓨팅, 광고를 주 사업 영역으로 하는 미국의 다국적 회사로 자사용 분산 파일 시스템을 만들었습니다. · 일반 상용 하드웨어를 이용하여 대량의 서버를 연결했기 때문에 데이터에 대한 접근이 효율적이고 안정적입니다. https://en.wikipedia.org/wiki/Google_File_System http://bit.ly/2OEZKHr http://research.google.com/archive/gfs.html
-
드롭아웃(drop out)
드롭아웃(drop out) · 드롭아웃은 은닉층에 배치된 노드 중 일부를 임의로 꺼줍니다. 이렇게 랜덤하게 노드를 끔으로써 학습 데이터에 지나치게 치우쳐서 학습되는 과적합을 방지할 수 있습니다. · During training, let some neurons sleep randomly. This helps avoiding overfitting. https://en.wikipedia.org/wiki/Dropout_(neural_networks) 드롭아웃 적용 전 (Standard Neural Net) 드롭아웃 적용 후 (After applying dropout) Sub group neurons are working like ensemble(less variance, less bias). Neurons no..
-
주성분 분석(PCA; Principal Component Analysis)
주성분 분석(PCA; Principal Component Analysis) · 통계 데이터를 분석하는 하나의 기법 · 변수들의 상관관계를 이용해 기존 변수들을 분산이 큰 변수들로 변환시키면 유의성이 높은 변수들로 데이터를 표현할 수 있습니다. · 해당 데이터의 원래 변수들을 선형변환을 통해 '주성분'이라 불리는, 서로 상관되어 있지 않거나 독립적인 새로운 인공변수를 구하여 해석하는 분석방법입니다. · 주성분분석은 다변량 자료 분석 방법 중 하나입니다. · 서로 상관되어 있는 변수들간의 복잡한 구조를 차원 단순화 시켜서 간편하고 이해하기 쉽도록 분석하는 방법입니다. · · 여러 변수들 간에 내재하는 상관관계, 연관성을 이용해 소수의 주성분으로 차원을 축소하는 기법으로 요인 분석의 한 종류입니다. · 변수들..