데이터 분석 시장 전망 한국IDC, 국내 빅데이터 및 분석 시장 2022년 2조 2천억 전망 http://bit.ly/36yhZ8p

분산 파일 시스템(Distributed File System; DFS) · ≒ 네트워크 파일 시스템(network file system) · ≒ Clustered file system · 컴퓨터 네트워크로 공유하는 여러 호스트 컴퓨터 파일에 접근할 수 있는 파일 시스템입니다. http://bit.ly/37P3PA9 http://bit.ly/2Y0ph0I 분산 파일 시스템 종류 분산 파일 시스템에는 하둡 분산 파일 시스템과 구글 파일 시스템 등이 있습니다. · 하둡 분산 파일 시스템 (HDFS) · 구글 파일 시스템(Google File System)

이상치(Outlier; Anomaly) · ≒ 특이점 ≒ 극단치 · ≒ 아웃라이어(Outlier) ≒ 아웃라이더 · ≒ Anomaly · 통계에서 '아웃라이더'란 다른 대부분의 관측치와 확연하게 다른 개별 데이터들을 말합니다. · 주어진 회귀 모델에 의해 잘 설명되지 않는 데이터 점들을 말합니다. · 특정 데이터 변수의 분포에서 비정상적으로 벗어난 값을 뜻합니다. · 다른 데이터 포인트들과 매우 동떨어져 있는 데이터를 뜻합니다. · 데이터 집합에서 대부분의 다른 샘플들과 현저한 차이를 보이는 샘플 혹은 변수값을 말합니다. · 데이터 기록 과정 중 벌어지는 오류 또는 독특한 성격을 갖는 이종 데이터로 인해 발생할 수 있습니다. · 차이는 단순 오류일 수도 있지만 정상적으로 측정된 특이값일 수도 있으므로 주..

군집 vs 분류

교사 학습 도식도 · 이미 주어진 입력에 대해 어떤 결과가 나올지 알고 있는( labeling이 된) , 출력과의 관계를 이용해서 데이터들을 해석할 수 있는 모델을 만들게 됩니다. 즉, 입력 데이터를 주입하여 지도학습을 통해 정답에 해당되는 모델을 만들어내게 됩니다. 그것을 바탕으로 새로운 데이터를 추정(predict)하게 됩니다. · [입력(Known data), 출력(Known response)] => 모델(Model) => 예측(predict) · 고양이 사진과 강아지 사진을 입력 데이터로 주어 머신러닝을 통해 학습수행하면 사진에서 고양이와 강아지를 구분해 내는 모델을 생성하게 됩니다. 이 모델을 통해서 새로운 사진에 대해 추정을 하게 됩니다. 학습용 데이터 집합 준비 · 개를 찍은 사진을 입력하면..

데이터 마이닝(Data Mining) · 대용량 데이터로부터 드러나지 않은 데이터간의 패턴, 상호관련성 및 유용한 정보를 추출하는 기술입니다. · 통계 및 수학적 기술뿐 아니라 기계학습, 패턴인식, 신경망 등의 기술들을 이용하여 대용량의 데이터에 숨겨진 의미 있는 패턴, 추세, 지식들을 발견하는 기술입니다. · 대용량 데이터내에서 의미있는 패턴을 찾아 집단을 분류하고 예측하며, 유사집단으로 묶거나 동시 또는 순차적으로 발생하는 의미 있는 연관관계를 도출합니다. · 거대한 양의 데이터 속에서 쉽게 드러나지 않는 유용한 정보를 찾아내는 과정을 말합니다. · 데이터 마이닝은 기존 데이터베이스에 마이닝 기술을 적용하여 이들 데이터 간에 숨은 의미 있는 관계성을 다양한 방법으로 발견한 후 이를 현실에 효과적으로 ..