달력

10

« 2019/10 »



 

 

 

장바구니분석 (market basket analysis)

·       장바구니 마이닝

·       장바구니분석은 장바구니 데이터에서는 주로 트랜잭션 사이의 연관성을 살펴보는 것으로, 빈번히 나타나는 규칙을 찾아내는 것입니다.

 

 

https://ko.wikipedia.org/wiki/데이터_마이닝

https://en.wikipedia.org/wiki/Association_rule_learning

 

 

 

구분

설명

장바구니(Market basket) 데이터

장바구니 분석시 사용하는 데이터 형태

 

트랜잭션(Transaction)

특정 고객, 장바구니 하나에 해당하는 정보

 

 


Posted by codedragon codedragon

댓글을 달아 주세요

2019. 10. 26. 23:48

a lot 부사 English



 

 

a lot 부사

·         "많이(very much)" 의미로 사용됩니다.

·         "자주(very often)" 의미로 사용됩니다.

·         a lot 문장 뒤에서 동사나 문장 자체를 꾸미는 경우가 많습니다.

 

 

주어 + 동사 + a lot

문장 + a lot

 

 

 

 

 

a lot 부사 표현

 

It means a lot to me.

이건 의미가 있어 / 내게

 

Do you travel a lot?

여행하세요? / 자주

 

I've heard a lot about you.

그쪽 이야기를 많이 들었어요.

 

My father snores a lot.

아버지는 코를 많이 고신다.

 

Thanks a lot.

정말 고마워.

 

 


'English' 카테고리의 다른 글

around 전치사 표현  (0) 2019.12.07
most 부사 구문 형식  (0) 2019.11.01
a lot 부사  (0) 2019.10.26
동사, 동사의 두 가지 기능  (0) 2019.10.16
주어 + get to + 장소  (0) 2019.10.08
인칭대명사(Personal Pronouns)  (0) 2019.09.26
Posted by codedragon codedragon

댓글을 달아 주세요


 

 

 

릴리즈 계획 프랙티스 적용

아래의 상황들에서 릴리즈 계획 프랙티스를 적용할 있습니다.

·         전체 업무 규모 산정 어려울

·         조직이 해야 하는 할일의 목록과 범위 명확하지 않을

·         계획 수립시 각자의 의견이 대립

·         이해관계가 얽혀 있어 각자 계획을 수립하기 어려운 경우

·         계획 수립시 각자의 의견이 골고루 반영되도록 하고 싶을

 


Posted by codedragon codedragon

댓글을 달아 주세요


 

 

프로토타이핑 방법(종류)

구분

방법

아날로그 프로토타이핑

·         화이트보드,

·         펜과 종이,

·         포스트잇등을 이용

 

https://codedragon.tistory.com/7463

디지털 프로토타이핑

·         파워포인트,

·         아크로뱃,

·         비지오,

·         옴니그래플,

·         악슈어,

·         HTML 등을 이용

 

https://codedragon.tistory.com/7418

 

 


Posted by codedragon codedragon

댓글을 달아 주세요

2019. 10. 26. 23:47

역전파 수식 Development/Python



 

 

 

역전파 수식

신경망 모형에서 출력층 노드 i 출력 값이, 원하는 출력 값이라고 SSE(에러의 제곱 ; Sum of Squared Error) 다음과 같은 식을 가집니다.


SSE 차이가 발견되면 (, 0 아니면) 차이가 발생한 출력 노드로부터 해당 출력 노드에 연결된 은닉 노드로, 은닉 노드에서 입력 노드로 거슬러 올라가면서 가중치를 조절하여 0 가까워지도록 합니다. 이를 수회 반복하다 보면 적절한 가중치가 발견됩니다. 학습 방법을 역전파 알고리즘이라고 합니다.

 

 

 

 

단일 퍼셉트론에서의 오차 수정


 

 

 

 

다층 퍼셉트론에서의 오차 수정


 

 

 

 

오차 역전파 구동 단계

단계

설명

1

임의의 초기 가중치(w) 결과(y) 계산합니다.

2

계산 결과와 원하는 사이의 오차를 구합니다.

3

경사 하강법을 이용해 바로 가중치를 오차가 작아지는 방향으로 업데이트(수정)합니다.

4

과정을 더이상 오차가 줄어들지 않을 때까지 반복수행합니다.

 

 

 

'Development > Python' 카테고리의 다른 글

Jupyter - Password or token:, Token authentication is enabled  (0) 2019.10.30
pdb 명령어  (0) 2019.10.28
역전파 수식  (0) 2019.10.26
SandDance  (0) 2019.10.24
들여쓰기와 제어문  (0) 2019.10.22
파이썬 기본 문형, 파이썬의 예약어, 잘못된 예약어 사용  (0) 2019.10.21
Posted by codedragon codedragon

댓글을 달아 주세요



 

 

MySQL JDBC - download (다운로드)

 

 

MySQL 사이트에 접속합니다.

https://dev.mysql.com/downloads/connector/j/


 

 

 

"Select Operating System:" 항목에서 [Platform Independent] 선택합니다.


 

"Platform Independent (Architecture Independent), ZIP Archive" 항목의 [Download]버튼을 클릭합니다.


 

 

 

 

[No thanks, just start my download.]


 


 


 

 

 

 

 

직접 다운로드

 


Posted by codedragon codedragon

댓글을 달아 주세요



 

 

marketbasket.csv

·         Tariq Mahmood(타리크 마흐무드박사의 웹사이트에서 제공하는 장바구니 분석용 테스트 파일입니다.

·         열은 제품의 종류, 행은 거래를 나타내며 데이터는 제품 302개에 대한 거래 1,361개로 구성되어 있으며, 거래량은 411,000 이상입니다.

·         데이터에는 수량이 없다는 점에 주의해야 합니다. 단지 아이템을 구매했는지(true) 구매하지 않았는지(false) 여부만 담겨 있습니다.

 

 

Basket ID

아스피린

(ASPIRIN)

고구마

(SWEET POTATOES)

토마토 통조림

(CANNED TOMATOES)

청키 땅콩버터

(CHUNKY PEANUT BUTTER)

가구 광택제

(WOOD POLISH)

C11867

false

false

false

false

false

C5096

false

false

false

false

false

C4295

false

false

false

false

false

 

 

 




 

 



 

 

직접 다운로드

 

marketbasket.csv


or


http://bit.ly/33YIhhM

 


Posted by codedragon codedragon

댓글을 달아 주세요


 

 

빈출패턴 성장(FP-Growth) 알고리즘

·       Frequent Pattern Growth Algorithm

·       아프리오리 알고리즘은 나름대로 효율적으로 아이템 집합의 수를 제한함으로써 연관규칙 생성을 효율화하였지만, 결국 데이터 집합에 있는 각각의 아이템을 살피면서 빈발항목 집합의 조건에 포함되는지 아닌지를 판정해야 하므로, 빅데이터 상황에서는 이러한 처리 프로세스 자체가 엄청난 부담이 될 수 있습니다. 따라서 빅데이터 상황에서는 더욱 효율적으로 빈발항목 집합을 찾아내는 알고리즘이 필요하게 됩니다. 빈출패턴 성장(FP-Growth) 알고리즘은 바로 이런 목적을 위해 아프리오리 알고리즘을 개선한 알고리즘입니다.

 

·       기본적으로 최소 지지도 임계치 이상의 항목 집합을 찾은 뒤 최소 신뢰도를 넘는 연관규칙을 생성한다는 점에서는 아프리오리 알고리즘과 동일하나, 빈출패턴 성장(FP-Growth) 알고리즘은 빈발항목 집합을 찾을 때 아프리오리 알고리즘보다 개선된 자료구조를 사용하여 검색시간을 크게 줄입니다. , 빈발항목 집합을 찾기 위해 FP-Tree(Frequent Pattern Tree)라는 자료구조에 데이터 집합을 생성합니다.

 

·       FP-Tree 일반적으로 트리(Tree)와 유사하지만, 유사한 아이템 간에 서로 연결링크를 가지고 있다는 점에서 다릅니다. 데이터베이스에서 아이템의 발생횟수를 센 뒤 헤더 테이블에 저장하여 트리를 만들고 최소 지지도 임계값을 만족시키지 못하는 아이템은 버려지고 내림차순으로 정렬됩니다. 이렇게 줄여진 데이터 세트를 가지고 가장 긴 트리 가지가 있는 곳에서부터 주어진 최소 지지도 임계치 조건에 부합하는 모든 객체를 탐색하게 됩니다. 더 이상 최소 지지도 임계값을 만족하는 단독 아이템이 없다면, FP-Tree는 확장을 멈추게 됩니다. 이러한 빈출패턴 성장(FP-Growth) 알고리즘은 아프리오리 알고리즘과는 달리, FP-Tree라는 특별한 자료구조를 도입함으로써, 데이터 집합을 2번만 검색하게 되어 훨씬 효율적인 처리와 빠른 속도를 내게 됩니다. 첫 번째 검색 때는 모든 아이템의 발생 빈도를 계산하여 FP-Tree에 저장한 뒤, 두 번째 검색 때는 빈발 아이템에만 접근하게 됩니다.

 

https://en.wikipedia.org/wiki/Association_rule_learning

 


Posted by codedragon codedragon

댓글을 달아 주세요


 

 

아프리오리(Apriori) 알고리즘 동작원리

아프리오리 알고리즘의 대략적인 절차는 아래와 같습니다.

상향식(bottom-up) 접근 방법을 사용하는 Apriori 알고리즘은 한 번에 하나씩 아이템 집합을 순회하며 동작합니다. 후보 그룹은 데이터를 검증받습니다. 더 이상 집합 확장이 없으면 알고리즘은 멈춥니다.

 

 

 

아이템 집합

다음과 같은 아이템 집합이 있으며, 지지도 임계값이 3이라고 가정하겠습니다.

 

{1,2,3,4}

{1,3,4}

{1,2}

{2,3,4}

{3,4}

{2,4}

개별 아이템 (1-항목집합) 중에서 최소 지지도 임계치를 넘는 모든 빈발품목 집합(frequent item set) , 1-항목 빈발항목집합을 찾는다.

 

각 아이템의 지지도를 계산한다.

{1} = 3

{2} = 4

{3} = 4

{4} = 5

 

 

'' 단계에서 찾은 개별 아이템(1-항목집합)만을 이용해서 2가지 아이템으로 이루어진 2-항목집합의 빈발품목 집합 후보 세트들을 생성한다.

 

다음 단계에서는 쌍(pairs)으로 지지도 구합니다.

{1,2} = 2

{1,3} = 2

{1,4} = 2

{2,3} = 2

{2,4} = 3

{3,4} = 4

 

 

'' 단계에서 만들어진 빈발항목 집합 후보 세트 중 최소 지지도 이하인 2-항목 집합들을 제거합니다. , 최소지지도 임계치를 넘는 2-항목 빈발항목 집합들을 찾는다.

 

{1,2}, {1,3}, {1,4}, {2,3}은 앞서 정한 지지도 임계값(3) 이하이므로 원소가 세 개인 집합 후보에서 기각한다.

{1,2} = 2

{1,3} = 2

{1,4} = 2

{2,3} = 2

{2,4} = 3

{3,4} = 4

 

 

위의'' 단계에서 찾아진 2-항목 집합을 이용하여, 최소 지지도를 넘는 3-항목 집합의 빈발항목 집합들을 찾는다.

 

이 예제에서는 임계값이 넘는 2, 3, 4 원소를 가진 개인 집합 조합이 하나 나온다. {1,2,3,4} 1 존재하므로 제외됩니다.

제외시킨 연산으로 빈도 아이템 집합을 구하였다.

 

{2,3,4} = 1

 

위의 과정과 같은 방법으로 k-항목 빈발항목 집합을 확정할 때까지 반복합니다. 새로운 빈발항목 집합이 생성되지 않으면 집합 확장을 중단합니다.

 

'' 단계까지 완료된 후 생성된 빈발항목 집합을 대상으로 최소 신뢰도 임계치를 넘는 모든 연관 규칙을 생성합니다.

 

예를 들어 '' 단계까지 진행하고 난 뒤, 결과 빈발항목 집합 {A,B}를 찾았다면, 해당 빈발항목 집합에서 생성될 수 있는 모든 후보 연관규칙 {A}{B} {B}{A}를 찾은 뒤, 이 중에서 최소 신뢰도 임계치를 넘는 연관규칙만 최종 연관규칙으로 결정하게 됩니.

 

위와 같이 검색할 아이템(항목)집합을 제한함으로써, 방대한 거래 데이터에서의 가능한 모든 조합들의 경우의 수를 고려하지 않고, 효율적으로 연관 규칙을 만들어 낼 수 있게 됩니다.

 

 

Posted by codedragon codedragon

댓글을 달아 주세요



 

 

XOR(exclusive OR) 문제 해결

퍼셉트론의 한계

 

퍼셉트론에서 XOR연산

XOR 분류문제

 

어떻게 나누더라도(빨간색 or 녹색) 대한 두가지 특성을 분리하지 못합니다.

 


 

 

LFF에서 XOR연산

 

두개의 직선으로 해결

 

LFF 여러 개의 직선으로 층을 나누어서 문제를 해결합니다.

빨간색 선으로 나눠진 영역이 하나의 층을 이루게 되어 대한 두가지 특성을 분리하게 됩니다.

 


모델에 은닉층을 추가(직선을 추가)하면 분류를 위한 좋은 결정 영역을 얻을 있습니다.

 

 

 

Posted by codedragon codedragon

댓글을 달아 주세요