Gradient-Descent(경사 하강법)

 

 

 

Gradient-Descent

·         ≒ 경사 하강법

 

·         가중치(w)나 바이어스(b)의 작은 변화량에 대해서 출력의 변화량이 linear 하다는 점이 있습니다. 이런 선형적인 특성으로 인해, 가중치나 바이어스를 조금씩 바꾸면서 출력이 원하는 방향으로 움직이도록 만들 수 있습니다.

·         즉, 가중치(w)와 바이어스(b)값들을 조절하여 cost function이 최소가 되도록 하는 것입니다.

·         최적값을 찾아갈 때 흔히 사용하는 방법입니다.

·         단층 퍼셉트론 모델에서 적절한 가중치를 찾기 위해 경사 하강법 (Gradient Descent)을 사용합니다.

 

cost function의 인자인 가중치(w)와 바이어스(b)를 조절하여  cost function이 최소가 되도록 하는 방법입니다.

 

 

 

https://bit.ly/2qye0Ff

https://en.wikipedia.org/wiki/Gradient_descent