드롭아웃(drop out)
CODEDRAGON ㆍDevelopment/Big Data, R, ...
반응형
드롭아웃(drop out)
· 드롭아웃은 은닉층에 배치된 노드 중 일부를 임의로 꺼줍니다. 이렇게 랜덤하게 노드를 끔으로써 학습 데이터에 지나치게 치우쳐서 학습되는 과적합을 방지할 수 있습니다.
· During training, let some neurons sleep randomly. This helps avoiding overfitting.
https://en.wikipedia.org/wiki/Dropout_(neural_networks)
드롭아웃 적용 전 (Standard Neural Net)
드롭아웃 적용 후 (After applying dropout)
Sub group neurons are working like ensemble(less variance, less bias).
Neurons not over trained on given data, it has less variance than no droppoing out model.
반응형
'Development > Big Data, R, ...' 카테고리의 다른 글
특이점 제거 (0) | 2021.09.06 |
---|---|
구글 파일 시스템(Google File System) (0) | 2021.09.01 |
주성분 분석(PCA; Principal Component Analysis) (0) | 2021.08.18 |
가용어, 불용어, 키워드 개념 (0) | 2021.08.11 |
데이터 수집 불가 원인 및 대안 (0) | 2021.08.09 |