군집 분석(Cluster analysis) · ≒ 군집화 · 동일한 성격을 가진 여러 개의 그룹으로 대상을 분류하는 것입니다. · 대상 개체를 유사하거나 서로 관련있는 항목끼리 묶어 몇 개의 집단으로 그룹화는 하는 것입니다. 각 집단의 성격을 파악함으로써 데이터 전체의 구조에 대한 이해를 돕고자 하는 탐색적 분석 방법입니다. · 데이터간의 유사도를 측정한 후 이를 바탕으로 특성이 비슷한 데이터를 합쳐가면서 최종적으로 유사 특성의 데이터 집합(Group)을 추출하는데 사용됩니다. · 각 객체에 대해 관측된 여러 개의 변수(X1, X2, …, Xp)값들로 부터 n개의 개체를 유사한 성격을 가지는 몇 개의 군집으로 집단화하고, 형성된 군집들의 특성을 파악하여 군집들 사이의 관계를 분석하는 다변량분석 기법입니다..

하이브(Hive) · 피그와 유사한 대규모 데이터 세트에 대한 분석을 위해 페이스북(facebook)에서 개발된 데이터 분석용 서비스입니다. · 하이브는 하이브 큐엘(Hive QL)이라는 명령어를 사용해서 질의를 수행하고 데이터를 분석하는 서비스입니다. · 하이브도 맵리듀스 프로그램으로 전환이 되어서 데이터 처리를 진행하지만, 기존 RDBMS의 SQL에 익숙한 사용자들에게 거의 동일한 명령어를 제공하므로 맵 리듀스 프로그램에 익숙하지 않은 사용자에게 원하는 정보를 쉽게 이용할 수 있도록 해줍니다. https://codedragon.tistory.com/9570 하둡 에코시스템(Ecosystem), 도식도, 구성요소 하둡 에코시스템(Ecosystem) 하둡은 특정 모듈 보다는 데이터처리 플랫폼 전체를 뜻합..

빅데이터 처리 시스템 구축을 위한 세부 계획 수립 항목

절대 오차(Absolute Error)· 측정값과 참값이 절대적으로 얼마나 차이가 나는지 말하는 것으로 오차의 크기 그 자체를 의미합니다.· 직접적인 오차의 절댓값· 절대 오차 내에서는 +, – 의 구별 없이 양의 값만 가집니다.· 어떠한 실험결과 참값이 5이고 측정값이 3인 경우 참값이 5±2의 범위에 존재한다는 것을 알 수 있습니다. |절대 오차| = 측정값 - 실제값 http://bit.ly/32U37y7

Gradient-Descent · ≒ 경사 하강법 · 가중치(w)나 바이어스(b)의 작은 변화량에 대해서 출력의 변화량이 linear 하다는 점이 있습니다. 이런 선형적인 특성으로 인해, 가중치나 바이어스를 조금씩 바꾸면서 출력이 원하는 방향으로 움직이도록 만들 수 있습니다. · 즉, 가중치(w)와 바이어스(b)값들을 조절하여 cost function이 최소가 되도록 하는 것입니다. · 최적값을 찾아갈 때 흔히 사용하는 방법입니다. · 단층 퍼셉트론 모델에서 적절한 가중치를 찾기 위해 경사 하강법 (Gradient Descent)을 사용합니다. cost function의 인자인 가중치(w)와 바이어스(b)를 조절하여 cost function이 최소가 되도록 하는 방법입니다. https://bit.ly/2..

선형회귀 이해 Which line will predict more likely to true height?