순환 신경망(RNN; Recurrent Neural Network)

 

 

 

순환 신경망(RNN; Recurrent Neural Network)

·         ≒ 재현 신경망

·         시계열 데이터를 확률적으로 모델링합니다.

·         순환 신경망은 인공신경망을 구성하는 유닛 사이의 연결이 Directed cycle을 구성하는 신경망을 말합니다. 순환 신경망은 Feed-Forward (다층 피드 포워드 신경망)과 달리, 임의의 입력을 처리하기 위해 신경망 내부의 메모리를 활용할 수 있습니다. 이러한 특성에 의해 순환 신경망은 필기체 인식(Handwriting recognition)과 같은 분야에 활용되고 있고, 높은 인식률을 나타냅니다.

 

·         순환 신경망을 구성할 수 있는 구조에는 여러가지 방식이 사용되고 있으며 완전 순환망(Fully Recurrent Network), Hopfield Network, Elman Network, Echo state network(ESN), Long short term memory network(LSTM), Bi-directional RNN, Continuous-time RNN(CTRNN), Hierarchical RNN, Second Order RNN 등이 대표적입니다.

·         순환 신경망을 훈련(Training)시키기 위해 대표적으로 경사 하강법, Hessian Free Optimization, Global Optimization Methods 방식이 쓰이고 있습니다. 하지만 순환 신경망은 많은 수의 뉴런 유닛이나 많은 수의 입력 유닛이 있는 경우에 훈련이 쉽지 않은 스케일링 이슈를 가지고 있습니다.

 

 

https://en.wikipedia.org/wiki/Recurrent_neural_network

http://bit.ly/33kHgjG

http://bit.ly/2IKzQOV