드롭아웃(drop out)

 

 

 

드롭아웃(drop out)

·         드롭아웃은 은닉층에 배치된 노드 중 일부를 임의로 꺼줍니다. 이렇게 랜덤하게 노드를 끔으로써 학습 데이터에 지나치게 치우쳐서 학습되는 과적합을 방지할 수 있습니다.

·         During training, let some neurons sleep randomly. This helps avoiding overfitting.

  

https://en.wikipedia.org/wiki/Dropout_(neural_networks)

 

 

 

 

드롭아웃 적용 전 (Standard Neural Net)

 

 

 

 

드롭아웃 적용 후 (After applying dropout)

 

Sub group neurons are working like ensemble(less variance, less bias).

Neurons not over trained on given data, it has less variance than no droppoing out model.