Development/Big Data, R, ...(885)
-
하둡(Hadoop) 배포판의 기본 구성 요소
오픈소스 하둡 배포판의 기본 구성 요소 표준 오픈소스 하둡 배포판(아파치 하둡)에는 다음이 포함되어 있는데요. HDFS (Hadoop Distributed File System) 하둡 분산파일시스템 빅데이터 파일을 여러 대의 서버에 분산 저장하기 위한 파일시스템 맵리듀스 (MapReduce) 각 서버에서 데이터를 분산 처리하는 분산병렬처리를 위한 프레임워크입니다. 하둡 커먼 다른 하둡 모듈이 사용 다른 솔루션 하둡의 기본 구성 요소외에 다른 솔루션들도 있습니다. 벤더들은 하둡 표준 배포판을 개선하는데 공헌하고 있습니다. 오픈소스 저장소에 업데이트한 코드를 제공하면서 하둡 공동체의 성장을 촉진하고 있습니다. 하둡 배포판 3종 가장 많이 쓰이는 하둡 배포판 3종은 클라우데라(Cloudera), 맵알(MapR..
-
하둡(Hadoop)
하둡(Hadoop)· 2006년 더그 커팅(Doug Cutting)과 마이크 캐퍼렐라(Mike Cafarella)가 개발하였습니다.· 대량의 자료를 처리할 수 있는 컴퓨터 클러스터의 분산 응용 프로그램을 지원하는 자바 소프트웨어 프레임워크입니다. 즉, 대용량 분산 저장과 처리를 위한 프레임워크입니다.· 하둡은 오픈소스 프로젝트로 많은 벤더들이 새 기능을 추가하거나 코드 기반을 개선하는 방식으로 독자적인 배포판을 개발해 공급하고 있습니다.· 크게 빅데이터를 저장하는 분산파일시스템인 HDFS과 분산병렬을 처리하는 맵리듀스(MapReduce)로 구성됩니다.· 하둡의 이름은 더그커팅의 아들이 가지고 놀던 노란색 코끼리 인형에서 유래했습니다. 그래서 하둡 기술의 이름은 코기리와 관련 있는 이름으로 지어지고 있습니..
-
스마트 데이터의 3A 특성 - 정확성(Accurate), 행동성(Actionable), 민첩성(Agile)
스마트 데이터의 3A 특성 데이터가 스마트하기 위해서는 세 가지 특성을 고려해야 하는데요. 이를 3A라고 합니다. 정확성(Accurate) 빅데이터의 노이즈로부터 정확하고 양질의 정보를 전달할 수 있는 것을 의미합니다. 즉, 많은 양의 빅데이터에는 중요한 정보와 더불어 중요하지 않고 의미없는 노이즈 데이터가 들어있는데, 스마트 데이터는 정확성을 확보하여 양질의 정보를 전달합니다. 스마트 데이터가 정확하려면 지속적으로 제3자의 벤치마크를 통해 유효성이 입증되어야 합니다. 그리고 스마트 데이터 이용자는 지속적으로 투자 대비 효과성을 검증할 수 있어야 합니다. 요약하면 스마트 데이터는 새로운 가치를 창출할 수 있을 정도로 정확성을 가지고 직설적이어야 합니다. 행동성(Actionable) 스마트 데이터는 조직이..
-
빅데이터 에코시스템
빅데이터 에코시스템 구성 빅데이터 에코시스템은 크게 빅데이터 서비스 공급자, 빅데이터 사용자, 애플리케이션 공급자로 구성됩니다. 구성설명서비스 공급자빅데이터 서비스를 제공하는 주체서비스 사용자빅데이터 서비스를 구매, 소비하는 주체어플리케이션 공급자공급자와 소비자를 연결하는 주체
-
스칼라(Scalar) vs 벡터(Vector)
스칼라(Scalar) vs 벡터(Vector) 스칼라와 벡터는 물리적 현상을 양적으로 표현하는 방법입니다. 스칼라는 수치값만으로 표시할 수 있는 양을 말하며 넓이, 시간, 온도 등을 이야기합니다. 스칼라가 크기만을 나타내는 물리량이라면, 벡터는 크기와 동시에 방향을 갖는 물리량으로서 변위, 속도, 가속도, 힘 등을 이야기합니다. 스칼라(Scalar)벡터(Vector)수치값만으로 표시할 수 있는 양크기와 동시에 방향을 갖는 물리량넓이, 시간, 온도 등변위, 속도, 가속도, 힘 등
-
빅데이터 활용 사례 3 - 일본(Japan), 이탈리아(Italia), 뉴욕주 시라큐스시(Syracuse), 덴마크의 베스타드 윈드 시스템(Vestas), Google 실시간 자동 번역시스템, 월마트(Walmart), 자라(Zara)
일본(Japan) 센서 데이터를 활용한 지능형 교통안내 시스템을 사용하고 있는데요. 실시간으로 택시나 정보 제공에 동의한 내비게이터 사용자로부터 얻을 수 있는 GPS 데이터를 분석하여 최적의 교통 정보를 전달하는 서비스입니다. 이를 통해 에너지 효율을 높이고 교통 체증을 감소할 수 있습니다. https://ko.wikipedia.org/wiki/%EC%9D%BC%EB%B3%B8 이탈리아(Italia) 밀라노에서 사용하는 지능형 교통정보 시스템으로 길안내서비스입니다. 밀라노 시내의 교통량과 속도를 조사하여 지능화된 교통정보를 제공하는 것인데요. 일정 기간 동안의 교통량, 속도, 기후 조건 등의 데이터를 종합 분석하여 신속 ∙ 정확하고 손쉬운 최적의 길안내서비스입니다. https://ko.wikipedia...