1.Summary-1.빅데이터 품질관리시스템 설계하기
CODEDRAGON ㆍDevelopment/Big Data, R, ...
반응형
빅데이터 품질 요소
데이터 품질 요소 |
데이터 품질 전략 |
정확성(acuracy) |
데이터 사용 목적에 따라 데이터 정확성의 기준을 다르게 적용합니다.
ex) 사용자가 접속한 사이트와 이동 지점을 분석하는 클릭스트링 분석과 부정이나 사기를 탐지하는 경우 데이터의 품질 수준은 다릅니다. |
완전성(completenes) |
필요한 데이터의 완전한 확보보다는 필요한 데이터를 식별하는 수준으로 적용 가능합니다. |
적시성(timelines) |
소멸성이 강한 데이터에 대해 어느 정도의 품질 기준을 적용할 것인지 결정합니다.
ex) 웹 로그 데이터, 트윗 데이터, 위치 데이터 등은 하루, 몇 시간, 몇 분 동안만 타당성을 가집니다. |
일관성(consistency) |
같은 데이터라 할지라도 사용 목적에 따라 달라지는 데이터 수집 기준 때문에 데이터 의미가 달라질 수 있습니다. |
https://codedragon.tistory.com/3958
'Development > Big Data, R, ...' 카테고리의 다른 글
F1지표(F1 score) (0) | 2019.12.22 |
---|---|
분석 모형 구축시 오류(error) - 일반화 오류(generalization error), 훈련 오류(training error) (0) | 2019.12.21 |
CRISP-DM Process (0) | 2019.12.21 |
SMOTE(Synthetic Minority Oversampling Technique), SMOTE 수행 단계 (0) | 2019.12.20 |
1.Summary - 1.저장모델 설계하기 (0) | 2019.12.19 |