달력

12

« 2019/12 »

  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  •  
  •  
  •  
  •  
2019. 10. 26. 23:47

역전파 수식 Development/Python



 

 

 

역전파 수식

신경망 모형에서 출력층 노드 i 출력 값이, 원하는 출력 값이라고 SSE(에러의 제곱 ; Sum of Squared Error) 다음과 같은 식을 가집니다.


SSE 차이가 발견되면 (, 0 아니면) 차이가 발생한 출력 노드로부터 해당 출력 노드에 연결된 은닉 노드로, 은닉 노드에서 입력 노드로 거슬러 올라가면서 가중치를 조절하여 0 가까워지도록 합니다. 이를 수회 반복하다 보면 적절한 가중치가 발견됩니다. 학습 방법을 역전파 알고리즘이라고 합니다.

 

 

 

 

단일 퍼셉트론에서의 오차 수정


 

 

 

 

다층 퍼셉트론에서의 오차 수정


 

 

 

 

오차 역전파 구동 단계

단계

설명

1

임의의 초기 가중치(w) 결과(y) 계산합니다.

2

계산 결과와 원하는 사이의 오차를 구합니다.

3

경사 하강법을 이용해 바로 가중치를 오차가 작아지는 방향으로 업데이트(수정)합니다.

4

과정을 더이상 오차가 줄어들지 않을 때까지 반복수행합니다.

 

 

'오차가 작아지는 방향으로 업데이트한다' 의미는 미분 값이 0 가까워지는 방향으로 나아간다 의미입니다. , '기울기가 0 되는 방향'으로 나아가야 하는데, 말은 가중치에서 기울기를 뺐을 가중치의 변화가 전혀 없는 상태 말합니다.

 

 

 

'Development > Python' 카테고리의 다른 글

Jupyter - Password or token:, Token authentication is enabled  (0) 2019.10.30
pdb 명령어  (0) 2019.10.28
역전파 수식  (0) 2019.10.26
SandDance  (0) 2019.10.24
들여쓰기와 제어문  (0) 2019.10.22
파이썬 기본 문형, 파이썬의 예약어, 잘못된 예약어 사용  (0) 2019.10.21
Posted by codedragon codedragon

댓글을 달아 주세요