2020/01(266)
-
빅데이터 품질 요소 및 품질 전략
빅데이터 품질 요소 빅데이터의 특징인 volume, variety, velocity, complexity를 고려하여 다양한 접근 방법의 품질 관리가 필요하다. 데이터 품질 요소 데이터 품질 전략 정확성(accuracy) 데이터 사용 목적에 따라 데이터 정확성의 기준을 다르게 적용합니다. ex) 사용자가 접속한 사이트와 이동 지점을 분석하는 클릭스트링 분석과 부정이나 사기를 탐지하는 경우 데이터의 품질 수준은 다릅니다. 완전성(completeness) 필요한 데이터의 완전한 확보보다는 필요한 데이터를 식별하는 수준으로 적용 가능합니다. 적시성(timeliness) 소멸성이 강한 데이터에 대해 어느 정도의 품질 기준을 적용할 것인지 결정합니다. ex) 웹 로그 데이터, 트윗 데이터, 위치 데이터 등은 하루,..
-
4.Summary - 4.수집 데이터 검증모듈 개발하기
빅데이터 품질 요소 및 품질 전략
-
1.Summary - 1.빅데이터 수집시스템 설계하기
데이터 수집 세부 계획서 목차 https://codedragon.tistory.com/9661 내,외부 데이터 수집시 데이터 수집의 불가 원인 및 대안 구분 설명 비즈니스 모델 · 비즈니스 모델은 비즈니스 전개를 위해 필요한 구성요소 간의 상호 관계를 모델화시켜놓은 것입니다. 비즈니스 용어집 · 특정 비즈니스 영역에서 사용되는 신뢰할 수 있는 용어 및 관계 사전입니다. 비즈니스 프로세스 · 다양한 시스템과 비즈니스 unit들에 넓게 분산되어 있고 커스터마이즈되어 있는 복잡하고, 역동적인 실체로서 고객에게 가치를 전달하는 데 필요한 모든 순차적이거나 병렬적인 활동들의 집합입니다. 도메인 전문가 인터뷰 · 도메인 전문가는 도메인 분야에 경험과 깊이 있는 지식을 가진 사람입니다. · 인터뷰를 통해 도메인에 사..
-
비즈니스 도메인과 원천데이터 정보
비즈니스 도메인과 원천데이터 정보데이터 수집을 위해서 데이터 수집자는 데이터 분석 목표를 이해하고, 비즈니스 도메인에 대한 이해를 바탕으로 원천 데이터를 탐색해야 합니다. · 비즈니스 도메인 정보 이해 · 원천 데이터 정보 비즈니스 도메인의 이해를 통한 원천데이터 탐색 도식도 비즈니스 도메인 정보 이해비즈니스 도메인 정보를 습득하기 위해서는 비즈니스 모델, 비즈니스 용어집, 비즈니스 프로세스로부터 관련 정보를 습득하고, 도메인 전문가 인터뷰를 통해 데이터의 종류, 유형, 특징 정보를 습득합니다.
-
imageio 패키지 - install
imageio 패키지 - install pip install imageio
-
Infinity
Infinity · NumPy에서는 무한대를 표현하기 위한 np.inf(infinity)함수를 제공합니다. · 1을 0으로 나누려고 하거나 0에 대한 로그 값을 계산하는 경우 무한대인 np.inf이 됩니다.