장바구니분석 (market basket analysis) · ≒ 장바구니 마이닝 · 장바구니분석은 장바구니 데이터에서는 주로 트랜잭션 사이의 연관성을 살펴보는 것으로, 빈번히 나타나는 규칙을 찾아내는 것입니다. https://ko.wikipedia.org/wiki/데이터_마이닝 https://en.wikipedia.org/wiki/Association_rule_learning

marketbasket.csv · Tariq Mahmood(타리크 마흐무드) 박사의 웹사이트에서 제공하는 장바구니 분석용 테스트 파일입니다. · 각 열은 제품의 종류, 각 행은 거래를 나타내며 데이터는 제품 302개에 대한 거래 1,361개로 구성되어 있으며, 총 거래량은 411,000개 이상입니다. · 데이터에는 수량이 없다는 점에 주의해야 합니다. 단지 아이템을 구매했는지(true) 구매하지 않았는지(false) 여부만 담겨 있습니다.

빈출패턴 성장(FP-Growth) 알고리즘 · ≒ Frequent Pattern Growth Algorithm · 아프리오리 알고리즘은 나름대로 효율적으로 아이템 집합의 수를 제한함으로써 연관규칙 생성을 효율화하였지만, 결국 데이터 집합에 있는 각각의 아이템을 살피면서 빈발항목 집합의 조건에 포함되는지 아닌지를 판정해야 하므로, 빅데이터 상황에서는 이러한 처리 프로세스 자체가 엄청난 부담이 될 수 있습니다. 따라서 빅데이터 상황에서는 더욱 효율적으로 빈발항목 집합을 찾아내는 알고리즘이 필요하게 됩니다. 빈출패턴 성장(FP-Growth) 알고리즘은 바로 이런 목적을 위해 아프리오리 알고리즘을 개선한 알고리즘입니다. · 기본적으로 최소 지지도 임계치 이상의 항목 집합을 찾은 뒤 최소 신뢰도를 넘는 연관규칙을..

아프리오리(Apriori) 알고리즘 동작원리아프리오리 알고리즘의 대략적인 절차는 아래와 같습니다.상향식(bottom-up) 접근 방법을 사용하는 Apriori 알고리즘은 한 번에 하나씩 아이템 집합을 순회하며 동작합니다. 후보 그룹은 데이터를 검증받습니다. 더 이상 집합 확장이 없으면 알고리즘은 멈춥니다. {1,2,3,4} {1,3,4} {1,2} {2,3,4} {3,4} {2,4} 가 개별 아이템 (1-항목집합) 중에서 최소 지지도 임계치를 넘는 모든 빈발품목 집합(frequent item set) 즉, 1-항목 빈발항목집합을 찾는다. 각 아이템의 지지도를 계산한다. {1,2} = 2 {1,3} = 2 {1,4} = 2 {2,3} = 2 {2,4} = 3 {3,4} = 4 다 '나' 단계에서 만들어진 ..

XOR(exclusive OR) 문제 및 해결퍼셉트론의 한계

과적합 도식도· 검은색 직선으로 표현된 Model 1은 단순한 직선으로 데이터의 (X, Y)의 관계를 표현한 모델입니다. 반면 녹색선으로 표현한 Model 2는 높은 차수의 다항식으로 데이터를 모델링한 것입니다. 단순히 주어진 데이터에 대한 정확도로만 따지면 Model 1이 Model 2에 비해 정확하지 않습니다.· 데이터의 분포를 보면 복잡한 곡선으로부터 나온 데이터가 아니라 단순 선형 관계로부터 나온 데이터일 가능성이 높아 보입니다. 즉, Model 1이 Model 2에 비해 좀 더 일반적인 모델일 가능성이 있고, 따라서 새로운 점이 위치할 만한 좌표를 더 잘 표현하는 모델일 수 있습니다.· 반면 모델 2는 데이터를 관찰하면서 끼어든 노이즈(Noise)를 모델에 반영하여 관찰 데이터 자체는 충실히 표..