데이터 정제

·         데이터 셋을 쉽게 사용할 수 있도록 하는 과정입니다.

·         빅데이터 처리에서 가장 중요한 작업 중 하나는 정제입니다.

·         정제가 제대로 이루어지지 않을 경우 데이터의 구성이 일관되지 않으므로 빅데이터를 분석하는데 문제가 생기게 됩니다.

·         다양한 매체로부터 데이터를 수집하여 원하는 형태로 변환하는 것입니다.

동전 던지기

http://bit.ly/35CTruc

이상치(anomaly) 처리

맥주와 기저귀

대형 마트는 기저귀를 사러 왔다가 맥주까지 사가는 사내의 습성을 보고

(기저귀를 사는 고객은 맥주를 동시에 구매한다는 연관규칙을 알아낸 것을 통해)

기저귀와 맥주를 인접한 진열대에 위치해 놓으니 매출 증대를 꾀할 수 있었습니다.

https://bit.ly/33Y7R6B

이 이야기는 전 세계 마케팅 부서를 통해 전파되고 있으며, 키노트부터 잡담, 해커톤에서 늦은 밤까지 이어진 코드 잼 등 모든 곳에서 회자되고 있습니다

토마스 블리촉(Thomas Blischok)은 마인드멜드(mindmeld)라는 회사의 CEO일 때 과거, 현재, 미래의 데이터 마이닝에 관한 웹 캐스트 패널이었으며, 맥주와 기저귀 스토리를 낳은 데이터 연구를 하고 있었습니다. 그 연구는 1990년대 초반에 실행되었는데, 그의 팀은 오스코 드럭(Osco Drug) 사의 장바구니 데이터를 연구했습니다. 토마스의 팀들은 오후 5시와 7시 사이 장바구니에 상관 관계가 있음을 발견하고 고객사에 이를 보고하였다.

그 이후 이야기는 여러 가지 변형된 이야기가 회자되고 있습니다.

www.dssresources.com/newsletters/66.php

99.txt

예외 처리 try 구문

try ~ except ~ else

·         try 블럭 내의 어느 문장에서 에러가 발생하면, except 문으로 이동하고 예외 처리를 할 수 있습니다.

·         else절은 예외가 발생하지 않은 경우에 실행되며 반드시 except절 바로 다음에 위치해야 합니다.

·         except 뒤에 아무것도 쓰지 않았으면 어떤 에러이든 발생하면 해당 except 블럭을 수행하라는 의미입니다.

·         except가 여러 개인 경우는 범위가 보다 좁은 에러타입을 앞에 쓰고 보다 일반적이고 포괄적인 에러타입을 뒤에 작성해 주어야 순차적으로 에러를 캐취할 수 있습니다.

여러개의 Exception들을 동일한 except 블록으로 처리하고자 할 경우 발생 Expception들을 하나의 except 으로 묶어주면 됩니다.

try ~ finally

·         try문에는 finally절을 사용할 수 있다.

·         finally절은 try문 수행 도중 예외 발생 여부에 상관없이 항상 수행되어 지는 부분입니다.

·         즉, finally 블럭은 try 블럭이 정상적으로 실행되든, 에러가 발생하여 except 블럭이 실행되든 상관없이 항상 마지막에 실행됩니다.

·         보통 finally절은 사용한 자원의 리소스를 정리(close)하기위해 사용되어집니다.

아래와 같은 구조인 경우, finally는 생략 불가

SQL(Standard Query Language)

·         SQL은 RDBMS의 표준 언어

·         SQL문을 이용해서 단순한 쿼리뿐만 아니라 데이터 베이스 객체를 만들거나, 제거하고, 데이터를 삽입, 갱신, 삭제하거나 다양한 운영 및 관리 작업을 할 수 있습니다.

·         SQL문이 첫선을 보인 것은 1970년대 IBM에 의해서이며, 이후 ANSI/ISO 표준으로 편입되어 여러 차례의 개량과 개발을 거쳤다.

·         https://codedragon.tistory.com/8225

SQL의 종류

DDL 관련 SQL문

DML 관련 SQL문

DCL 관련 SQL문

WEKA API documentation

http://weka.sourceforge.net/doc.dev/overview-summary.html

WEKA - arff Dataset

오분류표를 활용하여 모형을 평가하는 지표1

·         정분류율(Accuracy, recognitionrate)

·         오분류율(Error rate, misclassification rate)

정분류율(Accuracy, recognitionrate)

·         탐지율(맞게 검출한 비율)

·         전체 관측치중 실제값과 예측치가 일치한 정도를 나타냅니다.

·         정분류율은 범주의 분포가 균형을 이룰 때 효과적인 평가지표입니다.

·         ex) 실제 악성/정상인지 맞게 예측한 비율

·         전제 중에서 올바르게 예측한 정도를 의미합니다.

·         TP(True Positive)와 TN(True Negative)을 더하여 전부의 합계로 나눈 값입니다.

오분류율(Error rate, misclassification rate)

·         ≒ 오차비율

·         전체 값에서 오차의 값이 발생한 비율을 나타냅니다.

·         모형이 제대로 예측하지 못한 관측치를 평가하는 지표입니다.

·         오분류율은 전체 관측치 중 실제값과 예측치가 다른 정도를 나타내며 1-accuracy 또는 다음과 같은 식으로 평가됩니다.