텍스트 데이터 vs 시각화된 데이터 텍스트로만 구성된 데이터와 이미지로 구성된 데이터 중 어느 것이 더 직관적인지 바로 확인할 수 있습니다.

Dropout: A Simple Way to Prevent Neural Networks from Overfitting https://bit.ly/2FV7iA8 직접 다운로드

Overfitting 해결방법 Overfitting의 문제를 피하기 위한, 가장 확실한 대책 중 하나는 훈련 데이터(Training data)의 양을 늘리는 것이다. 훈련 데이터양을 통한 Overfitting 해결시의 문제점 · 훈련 데이터는 아무런 대가 없이 그냥 얻어지는 것이 아닙니다. · 양질의 훈련 데이터를 얻으려면 많은 시간과 비용을 필요로 합니다. · 어떤 경우는 추가 데이터의 확보가 어렵거나 불가능한 경우도 있다. · 학습 데이터의 양이 많아지면 결과적으로 학습에 걸리는 시간이 늘어나는 문제도 발생합니다.

HDFS(하둡 분산파일시스템) · Hadoop Distributed File SYstem · 하둡은 대량의 자료를 저장하고 처리할 수 있는 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 자바기반의 오픈소스 프레임 워크입니다. · 분산처리 시스템인 맵리듀스(MapReduce)를 이용해 데이터를 처리합니다. · 하둡은 7년 간 개발되면서 개방형 프레임 워크로 빅데이터 시대를 이끌고 있습니다. 최근 하둡의 도입성과가 가시화되고 다양한 프로젝트가 진행되면서 하둡을 중심으로 한 새로운 제품군들이 등장하고 있습니다. · 하둡의 분산 파일 시스템 HDFS는 이기종간의 하드웨어로 구성된 컴퓨터 클러스터에서 대용량 데이터 처리를 위하여 개발된 것입니다. · 하둡이 사용하는 분산 저장소입니다. 분산된 환경에서..

수행 내용-빅데이터 처리를 위한 준비하기 수행 순서 수행 tip 수행 순서 단계 수행 항목 빅데이터 처리를 위한 환경을 파악한다. · 처리해야 할 데이터 크기, 생성속도, 빈도에 따른 빅데이터를 처리하기 위해서 어떻게 클러스터를 구축할 것인지를 파악하여 목적에 맞는 처리 시스템을 계획합니다. 빅데이터 처리 시스템 구축을 위한 세부 계획을 수립한다. · 빅데이터 처리 시스템 도입 및 설정에 필요한 계획을 수립하고, 클러스터 구축을 위한 하드웨어와 소프트웨어 등 제반 환경을 점검하고, 이에 대한 체크 리스트를 작성합니다. · 빅데이터 저장 시스템과 연계한 처리 방식과 수행 환경에 대한 운영 모드를 확인합니다. 운영모드는 의사분산 모드(pseudo-distributed mode) 또는 완전분산 모드(fully..

유클리드 거리(Euclidean distance) · ≒ 유클리디언 거리 ≒ L2 거리(L2 Distance) · 두 점 사이의 거리를 계산할 때 흔히 쓰는 방법입니다. · 두 점 상의 직선 상의 거리를 의미합니다. · 유클리드 거리를 사용하여 유클리드 공간을 정의할 수 있으며, 이 거리에 대응하는 노름을 유클리드 노름(Euclidean norm)이라고 부릅니다. · "유클리디안 거리" 공식은 n차원의 공간에서 두 점간의 거리를 알아내는 공식입니다. http://bit.ly/38ordow https://en.wikipedia.org/wiki/Euclidean_distance 맨해튼 거리 · 빨간색, 파란색, 노란색 선 · 선의 길이는 모두 12로 같습니다. · 길(블록)을 이용한 거리 계산 방식 유클리드..