순환 신경망(RNN; Recurrent Neural Network) · ≒ 재현 신경망 · 시계열 데이터를 확률적으로 모델링합니다. · 순환 신경망은 인공신경망을 구성하는 유닛 사이의 연결이 Directed cycle을 구성하는 신경망을 말합니다. 순환 신경망은 Feed-Forward (다층 피드 포워드 신경망)과 달리, 임의의 입력을 처리하기 위해 신경망 내부의 메모리를 활용할 수 있습니다. 이러한 특성에 의해 순환 신경망은 필기체 인식(Handwriting recognition)과 같은 분야에 활용되고 있고, 높은 인식률을 나타냅니다. · 순환 신경망을 구성할 수 있는 구조에는 여러가지 방식이 사용되고 있으며 완전 순환망(Fully Recurrent Network), Hopfield Network, ..

Play with neural networks · 신경망의 노드와 레이어를 추가한 뒤 어떻게 결정 영역을 학습하는지 확인해보실 수 있습니다 . · 네 가지의 서로 다른 데이터 집합에 대해서 테스트해 출력이 나오는 것을 애니메이션을 통해 볼 수 있습니다. http://playground.tensorflow.org https://github.com/tensorflow/playground

epoch · ≒ 에포크 · 모든 데이터셋을 한번 학습하는 것 mini batch(미니배치) · 데이터를 batch size만큼 쪼개어 학습하는 것을 말합니다. · 샘플을 한 번에 몇 개씩 처리할지를 지정합니다. epoch 이해 전체 10000개 데이터를 300개씩 나누어 총 33번 학습시 1회 학습이 되어 1epoch가 됩니다. 구분 설명 전체 데이터 10000개 mini batch size 300개 1 epoch 10000 / 300 = 33.3333 33번만큼의 iteration batch size에 따른 성능 · batch size가 너무 크면 ↑학습 속도가 느려지고↓, 너무 작으면↓ 각 실행 값의 편차가 생겨서 전체 결괏값이 불안정해질 수 있습니다. · 분석 컴퓨터 메모리가 감당할 만큼의 bat..

HDFS(하둡 분산파일시스템) · Hadoop Distributed File SYstem · 하둡은 대량의 자료를 저장하고 처리할 수 있는 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 자바기반의 오픈소스 프레임 워크입니다. · 분산처리 시스템인 맵리듀스(MapReduce)를 이용해 데이터를 처리합니다. · 하둡은 7년 간 개발되면서 개방형 프레임 워크로 빅데이터 시대를 이끌고 있습니다. 최근 하둡의 도입성과가 가시화되고 다양한 프로젝트가 진행되면서 하둡을 중심으로 한 새로운 제품군들이 등장하고 있습니다. · 하둡의 분산 파일 시스템 HDFS는 이기종간의 하드웨어로 구성된 컴퓨터 클러스터에서 대용량 데이터 처리를 위하여 개발된 것입니다. · 하둡이 사용하는 분산 저장소입니다. 분산된 환경에서..

수행 내용-빅데이터 처리를 위한 준비하기 수행 순서 수행 tip 수행 순서 단계 수행 항목 빅데이터 처리를 위한 환경을 파악한다. · 처리해야 할 데이터 크기, 생성속도, 빈도에 따른 빅데이터를 처리하기 위해서 어떻게 클러스터를 구축할 것인지를 파악하여 목적에 맞는 처리 시스템을 계획합니다. 빅데이터 처리 시스템 구축을 위한 세부 계획을 수립한다. · 빅데이터 처리 시스템 도입 및 설정에 필요한 계획을 수립하고, 클러스터 구축을 위한 하드웨어와 소프트웨어 등 제반 환경을 점검하고, 이에 대한 체크 리스트를 작성합니다. · 빅데이터 저장 시스템과 연계한 처리 방식과 수행 환경에 대한 운영 모드를 확인합니다. 운영모드는 의사분산 모드(pseudo-distributed mode) 또는 완전분산 모드(fully..

유클리드 거리(Euclidean distance) · ≒ 유클리디언 거리 ≒ L2 거리(L2 Distance) · 두 점 사이의 거리를 계산할 때 흔히 쓰는 방법입니다. · 두 점 상의 직선 상의 거리를 의미합니다. · 유클리드 거리를 사용하여 유클리드 공간을 정의할 수 있으며, 이 거리에 대응하는 노름을 유클리드 노름(Euclidean norm)이라고 부릅니다. · "유클리디안 거리" 공식은 n차원의 공간에서 두 점간의 거리를 알아내는 공식입니다. http://bit.ly/38ordow https://en.wikipedia.org/wiki/Euclidean_distance 맨해튼 거리 · 빨간색, 파란색, 노란색 선 · 선의 길이는 모두 12로 같습니다. · 길(블록)을 이용한 거리 계산 방식 유클리드..