CODEDRAGON ㆍDevelopment/Big Data, R, ...
HDFS(하둡 분산파일시스템)
· Hadoop Distributed File SYstem
· 하둡은 대량의 자료를 저장하고 처리할 수 있는 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 자바기반의 오픈소스 프레임 워크입니다.
· 분산처리 시스템인 맵리듀스(MapReduce)를 이용해 데이터를 처리합니다.
· 하둡은 7년 간 개발되면서 개방형 프레임 워크로 빅데이터 시대를 이끌고 있습니다. 최근 하둡의 도입성과가 가시화되고 다양한 프로젝트가 진행되면서 하둡을 중심으로 한 새로운 제품군들이 등장하고 있습니다.
· 하둡의 분산 파일 시스템 HDFS는 이기종간의 하드웨어로 구성된 컴퓨터 클러스터에서 대용량 데이터 처리를 위하여 개발된 것입니다.
· 하둡이 사용하는 분산 저장소입니다. 분산된 환경에서 다양한 형태, 초대용량의 데이터를 안전하게 저장할 수 있을 뿐만 아니라 저장되어 있는 데이터를 빠르게 처리할 수 있도록 설계되었습니다. 즉, 분산된 환경에서 우수한 저장력과 데이터 처리 능력을 가지고 있습니다.
· 하둡 분산파일시스템은 전체 성능이나 용량을 늘리기 위해 많은 서버를 이용하여 구축한다는 특징이 있습니다. 수를 늘리기 위해 값싼 서버들을 이용해 구축하고, 서버의 수가 많기 때문에 높은 수준의 고장방지기능을 이용합니다.
'Development > Big Data, R, ...' 카테고리의 다른 글
| CNN(Convolutional Neural Network) (0) | 2021.06.18 |
|---|---|
| 데이터 정규화(normalization) (0) | 2021.06.15 |
| 수행 내용-빅데이터 처리를 위한 준비하기 (0) | 2021.05.21 |
| Error in file(file, "rt") : cannot open the connection. In file(file, "rt") : cannot open file 'xxxxx.csv': No such file or directory 해결방법 (0) | 2021.05.19 |
| 벡터 생성, 자동 형변환 규칙, 벡터에서의 형변환, 벡터 안에 벡터 생성 (0) | 2021.05.17 |