달력

12

« 2020/12 »

  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  •  
  •  
반응형


 

 

 

수집 데이터 유형에 따른 수집 기술

데이터 유형

데이터 수집 기술

수집 방법

정형 데이터

sqop, vendor 제공 Driver, API

수집프로그램 이용, Socket 프로그램 이용

로그/센서 데이터

flume, Scribe, chukwa, Ftp, tcp, 블루투스, RFID

수집프로그램 이용, FTP 수집, 스트리밍 수집

텍스트, 이미지, 동영상데이터

HTP, FTP, API, Parsing 기술

FTP, API 이용하여 수집

소셜 데이터

Pure 프로그래밍(C, java), library, scrapy, nutch, crawler4j

크롤러를 이용한 수집

https://codedragon.tistory.com/9662

 

 

 

 

 

 

수집 시스템 구축 절차

단계

설명

수집 데이터 유형 파악

·         수집 세부 계획서 정독

·         데이터의 종류 확인

수집기술 결정

·         데이터의 유형에 맞는 최적의 수집 기술 선정

아키텍처 수립

·         수집 솔루션 아키텍처 파악

·         아키텍처 커스터 마이징

하드웨어 구축

·         하드웨어 스펙 규모 결정

·         서버, OS, 스토리지 설치

실행 환경 구축

·         Sqoop, Flume 수집 솔루션 설치

https://codedragon.tistory.com/8567

 


반응형
Posted by codedragon codedragon

댓글을 달아 주세요