Development/Big Data, R, ...(884)
-
Terry Winograd’s Dissertation
Terry Winograd’s Dissertation 규칙 기반 대화 모델링 http://hci.stanford.edu/~winograd/shrdlu/index.html PROCEDURES AS A REPRESENTATION FOR DATA IN A COMPUTER PROGRAM FOR UNDERSTANDING NATURAL LANGUAG http://hci.stanford.edu/~winograd/shrdlu/AITR-235.pdf
-
Softmax function
Softmax function · 소프트맥스는 총합이 1인 형태로 바꿔서 계산해 주는 함수입니다. · 실제 신경망의 응용에서는 출력단에서 SoftMax 함수를 더 많이 사용 하며, 특히 분류기(classifier) 관련 application은 SoftMax 함수를 쓰면 훨씬 좋습니다. https://bit.ly/2WIJ0Vo https://bit.ly/2If0Fei https://en.wikipedia.org/wiki/Softmax_function Softmax function 수식 K-차원을 갖는 벡터 z를 (0,1) 범위를 갖는 σ(z)로 치환시키는 것과 같습니다. 자세히 보면, 확률 분포와 같다는 것을 알 수가 있으며, logistic regression이라고도 불리워집니다. Zk에 대해 편미분을 ..
-
Convolution arithmetic
Convolution arithmetic · Convolution animations · Transposed convolution animations · Dilated convolution animations https://github.com/vdumoulin/conv_arithmetic A guide to convolution arithmetic for deep learning (BibTeX)
-
순환 신경망(RNN; Recurrent Neural Network)
순환 신경망(RNN; Recurrent Neural Network) · ≒ 재현 신경망 · 시계열 데이터를 확률적으로 모델링합니다. · 순환 신경망은 인공신경망을 구성하는 유닛 사이의 연결이 Directed cycle을 구성하는 신경망을 말합니다. 순환 신경망은 Feed-Forward (다층 피드 포워드 신경망)과 달리, 임의의 입력을 처리하기 위해 신경망 내부의 메모리를 활용할 수 있습니다. 이러한 특성에 의해 순환 신경망은 필기체 인식(Handwriting recognition)과 같은 분야에 활용되고 있고, 높은 인식률을 나타냅니다. · 순환 신경망을 구성할 수 있는 구조에는 여러가지 방식이 사용되고 있으며 완전 순환망(Fully Recurrent Network), Hopfield Network, ..
-
Play with neural networks
Play with neural networks · 신경망의 노드와 레이어를 추가한 뒤 어떻게 결정 영역을 학습하는지 확인해보실 수 있습니다 . · 네 가지의 서로 다른 데이터 집합에 대해서 테스트해 출력이 나오는 것을 애니메이션을 통해 볼 수 있습니다. http://playground.tensorflow.org https://github.com/tensorflow/playground
-
epoch, mini batch, epoch 이해, batch size에 따른 성능
epoch · ≒ 에포크 · 모든 데이터셋을 한번 학습하는 것 mini batch(미니배치) · 데이터를 batch size만큼 쪼개어 학습하는 것을 말합니다. · 샘플을 한 번에 몇 개씩 처리할지를 지정합니다. epoch 이해 전체 10000개 데이터를 300개씩 나누어 총 33번 학습시 1회 학습이 되어 1epoch가 됩니다. 구분 설명 전체 데이터 10000개 mini batch size 300개 1 epoch 10000 / 300 = 33.3333 33번만큼의 iteration batch size에 따른 성능 · batch size가 너무 크면 ↑학습 속도가 느려지고↓, 너무 작으면↓ 각 실행 값의 편차가 생겨서 전체 결괏값이 불안정해질 수 있습니다. · 분석 컴퓨터 메모리가 감당할 만큼의 bat..