CNN(Convolutional Neural Network) · ≒ 컨볼루션 신경망 ≒ 합성곱 신경망 · 일반 신경망으로 이미지를 분류할 때 물체의 방향과 장소에 따라 인식의 문제가 나타나게 되는데 반해 우리 뇌 속 시각 피질의 신경 세포들은 물체의 방향과 장소가 바뀌어도 별 문제없이 인식할 수 있습니다. 이러한 신경생물학적 관찰이 컨볼루션 신경망 구조 설계에 동기를 부여하게 되었습니다. · 컨볼루션 신경망은 물체의 위치와 방향에 관계없이 물체의 고유한 특징을 학습할 수 있습니다. · 다층 신경망의 한 종류입니다. · 역전파 알고리즘을 사용하여 학습합니다. · 이미지의 픽셀값으로부터 직접 시각 패턴을 학습할 수 있습니다. · 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(mul..

데이터 정규화(normalization) · 데이터 정규화를 통해 노이즈를 제거하여 줄여줍니다. · 숫자 값을 지정된 범위로 다시 조정하는 방법입니다. · 데이터의 폭이 클 때 적절한 값으로 분산의 정도를 바꾸는 과정입니다. 정규화 방법 항목 설명 최소-최대 정규화 · 0~1 사이에서 데이터를 선형적인 범위로 변환합니다. · 최소 0, 최대 1로 조정 Z점수 정규화 · 평균 및 표준편차를 기반으로 조정합니다. · 데이터와 평균의 차이를 표준편차로 나눠줍니다. 소수점 배열 · 특성 값의 소수점을 이동하여 데이터 크기를 조정합니다.

HDFS(하둡 분산파일시스템) · Hadoop Distributed File SYstem · 하둡은 대량의 자료를 저장하고 처리할 수 있는 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 자바기반의 오픈소스 프레임 워크입니다. · 분산처리 시스템인 맵리듀스(MapReduce)를 이용해 데이터를 처리합니다. · 하둡은 7년 간 개발되면서 개방형 프레임 워크로 빅데이터 시대를 이끌고 있습니다. 최근 하둡의 도입성과가 가시화되고 다양한 프로젝트가 진행되면서 하둡을 중심으로 한 새로운 제품군들이 등장하고 있습니다. · 하둡의 분산 파일 시스템 HDFS는 이기종간의 하드웨어로 구성된 컴퓨터 클러스터에서 대용량 데이터 처리를 위하여 개발된 것입니다. · 하둡이 사용하는 분산 저장소입니다. 분산된 환경에서..

수행 내용-빅데이터 처리를 위한 준비하기 수행 순서 수행 tip 수행 순서 단계 수행 항목 빅데이터 처리를 위한 환경을 파악한다. · 처리해야 할 데이터 크기, 생성속도, 빈도에 따른 빅데이터를 처리하기 위해서 어떻게 클러스터를 구축할 것인지를 파악하여 목적에 맞는 처리 시스템을 계획합니다. 빅데이터 처리 시스템 구축을 위한 세부 계획을 수립한다. · 빅데이터 처리 시스템 도입 및 설정에 필요한 계획을 수립하고, 클러스터 구축을 위한 하드웨어와 소프트웨어 등 제반 환경을 점검하고, 이에 대한 체크 리스트를 작성합니다. · 빅데이터 저장 시스템과 연계한 처리 방식과 수행 환경에 대한 운영 모드를 확인합니다. 운영모드는 의사분산 모드(pseudo-distributed mode) 또는 완전분산 모드(fully..

유클리드 거리(Euclidean distance) · ≒ 유클리디언 거리 ≒ L2 거리(L2 Distance) · 두 점 사이의 거리를 계산할 때 흔히 쓰는 방법입니다. · 두 점 상의 직선 상의 거리를 의미합니다. · 유클리드 거리를 사용하여 유클리드 공간을 정의할 수 있으며, 이 거리에 대응하는 노름을 유클리드 노름(Euclidean norm)이라고 부릅니다. · "유클리디안 거리" 공식은 n차원의 공간에서 두 점간의 거리를 알아내는 공식입니다. http://bit.ly/38ordow https://en.wikipedia.org/wiki/Euclidean_distance 맨해튼 거리 · 빨간색, 파란색, 노란색 선 · 선의 길이는 모두 12로 같습니다. · 길(블록)을 이용한 거리 계산 방식 유클리드..

State of Machine Learning and Data Science 2020 - kaggle https://www.kaggle.com/kaggle-survey-2020 Gender Age Country Education Programming Experience Machine Learning Experience Pay Interactive Development Environments; IDE Methods & Algorithms frameworks cloud usage database usage 직접 다운로드 or https://bit.ly/32z66OL