역전파 수식

 

 

 

역전파 수식

신경망 모형에서 출력층 노드 i의 출력 값이, 원하는 출력 값이라고 할 때 SSE(에러의 제곱 합; Sum of Squared Error)는 다음과 같은 식을 가집니다.

SSE 차이가 발견되면 (즉, 0이 아니면) 차이가 발생한 출력 노드로부터 해당 출력 노드에 연결된 은닉 노드로, 은닉 노드에서 입력 노드로 거슬러 올라가면서 가중치를 조절하여 0에 가까워지도록 합니다. 이를 수회 반복하다 보면 적절한 가중치가 발견됩니다. 이 학습 방법을 역전파 알고리즘이라고 합니다.

 

 

 

 

단일 퍼셉트론에서의 오차 수정

 

 

 

 

다층 퍼셉트론에서의 오차 수정

 

 

 

 

오차 역전파 구동 단계

단계	설명
1	임의의 초기 가중치(w)를 준 뒤 결과(y)를 계산합니다.
2	계산 결과와 원하는 값 사이의 오차를 구합니다.
3	경사 하강법을 이용해 바로 앞 가중치를 오차가 작아지는 방향으로 업데이트(수정)합니다.
4	위 과정을 더이상 오차가 줄어들지 않을 때까지 반복수행합니다.