데이터 품질진단 절차 및 기법

CODEDRAGON Development/Big Data, R, ...

반응형


 

 

데이터 품질진단 절차 및 기법

 


 

 

목차

목 차

1장 데이터 품질진단 개요 1

1절 데이터 품질진단 지침의 목적 ····· 1

2절 데이터 품질진단의 정의와 종류  2

3절 지침의 범위와 구성 ····· 4

2장 데이터 품질진단 절차··········· 7

1절 품질진단 계획 수립 ····· 7

1. 데이터 품질진단 프로젝트 정의 ··· 7

2. 수행 조직 정의 ··· 10

3. 품질진단 절차 정의 ······· 13

4. 세부 시행 계획 확정 ····· 14

2절 품질기준 및 진단 대상 정의 ······ 15

1. 데이터 품질기준 선정 ···· 16

2. 품질 이슈 조사 ·· 25

3. 데이터 관리 문서 수집 · 27

4. 진단 대상 중요도 평가 · 29

5. 품질진단 대상 선정 ······· 31

6. 핵심 품질 항목 선정 ··· 32

7. 데이터 프로파일링 ········· 34

8. 업무규칙 도출  42

3절 데이터 품질측정 ·········· 47

1. 품질측정 계획 수립 ······· 48

2. 품질측정 체크리스트 준비 ··········· 49

iv

3. 데이터 품질측정 수행 ··· 50

4. 데이터 품질측정 결과 보고 ·········· 52

5. 데이터 품질 종합 보고서 작성 ···· 53

4절 데이터 품질측정 결과 분석 ······· 54

1. 품질오류 원인 분석 ······· 55

2. 품질 개선 방안 도출 ····· 57

5절 데이터 품질 개선 ········· 61

1. 품질 개선 계획 수립 ······ 61

2. 개선 활동의 수행 ··········· 62

3. 개선 결과의 보고 ··········· 63

3장 데이터 품질진단 기법 - 정형 데이터···· 67

1절 데이터 프로파일링 ······· 67

1. 메타데이터 수집 및 분석 ·· 68

2. 컬럼 속성 분석 · 74

3. 유형별 프로파일링 기법 ··· 78

4. 프로파일링 결과 리뷰 및 종합 ···· 99

2절 업무규칙 ·· 106

1. 업무규칙 도출 절차 ····· 106

2. 업무규칙 작성 지침 ····· 114

3. 업무규칙 및 BR-SQL 사례 ········ 116

3절 데이터 품질측정 ········· 125

1. 업무규칙별 오류율 측정 ·· 126

2. 핵심 데이터별 오류율 측정 ········ 127

3. 데이터 품질 지수화 ····· 128

4절 오류 원인 분석 ··········· 133

v

1. 오류 데이터의 발생 요인  133

2. 오류 원인 분석 방법 ··· 140

3. 품질기준별 원인분석 사례 ·········· 145

4장 데이터 품질진단 기법 - 비정형 데이터  157

1절 데이터 프로파일링 및 업무규칙 도출 ··· 157

2절 체크리스트 준비 ········· 158

1. 측정 기준의 선정 ········· 159

2. 중요도 산정  160

3. 측정 항목의 작성 ········· 168

4. 측정 내용의 작성 ········· 173

3절 품질측정 및 품질 지수의 산출  175

1. 품질점수의 산출 ··········· 176

2. 품질지수의 산출 ··········· 178

3. 총품질지수의 산출 ······· 178

4. 오류율 측정  182

4절 오류 원인 분석 ··········· 185

1. 오류 데이터의 발생 요인  185

2. 오류 원인 분석 방법 ··· 189

 

 

 

 

직접다운로드

데이터+품질진단+절차+및+기법_v1.0.pdf