이론학습(150)
-
plt.style.use()
plt.style.use() 미리정의된 스타일(테마)을 적용합니다. plt.style.use('스타일명') 사용가능한 스타일 확인 print(plt.style.available) ['bmh', 'classic', 'dark_background', 'fast', 'fivethirtyeight', 'ggplot', 'grayscale', 'seaborn-bright', 'seaborn-colorblind', 'seaborn-dark-palette', 'seaborn-dark', 'seaborn-darkgrid', 'seaborn-deep', 'seaborn-muted', 'seaborn-notebook', 'seaborn-paper', 'seaborn-pastel', 'seaborn-poster', 'sea..
-
향상도(lift), 향상도 값에 따른 관계와 의미
향상도(lift) · 품목 B를 구매한 고객 대비 품목 A를 구매한 후 품목 B를 구매하는 고객에 대한 확률을 의미합니다. · 연관규칙 A→B는 품목 A와 품목B의 구매가 서로 관련이 없는 경우( 독립적인 경우)에 P(B|A)=P(B)이므로 향상도는 1이 됩니다. 만일 향상도가 1보다 크면 이 규칙은 결과를 예측하는 데 있어서 우수하다는 것을 의미합니다. 1보다 작으면 우연적 기회보다 도움이 되지 않음을 의미합니다. 향상도 값에 따른 관계와 의미 향상도 의미 1 이다 두 품목간에 연관성이 없는 서로 독립적인 관계입니다. 1보다 작다 두 품목이 서로 음의 상관관계입니다. 품목 A와 품목 B는 연관성이 없음을 의미합니다. 1보다 크다 두 품목이 서로 양의 상관관계입니다. 품목 B를 구매할 확률보다 품목 A를..
-
지니 불순도 곡선
지니 불순도 곡선 · 지니 불순도는 p=0 또는 p=1일 때 0이며 p=1/2일 때 가장 큰 값을 가지는 포물선입니다. · 불순도 함수식과 연관해서 생각해보면 노드에 특정 분류 i만 있거나 특정 분류 i가 전혀 없을 때 I(A)가 작은 값을 가지며, 여러 분류가 섞여 있을 때 큰 값을 갖게 됩니다.
-
하둡 에코시스템(Ecosystem), 도식도, 구성요소
하둡 에코시스템(Ecosystem) 하둡은 특정 모듈 보다는 데이터처리 플랫폼 전체를 뜻합니다. 에코 시스템은 하둡 핵심 기능을 보완하는 서브 오픈 소스 소프트웨어들이다. 하둡이란 플랫폼상에 다양한 에코시스템(Eco-system)인 피그(Pig), 주키퍼(Zookeeper), 하이브(Hive), 플럼(Flume), 스쿱(Sqoop), 스파크(Spark) 등 수 많은 오픈소스 기술이 하둡 플랫폼과 함께 사용되며 주로 동물들의 이름을 딴 경우가 많습니다. Hadoop 에코 시스템 도식도 · 주키퍼(ZooKeeper) · 피그(Pig) · 에이치베이스(Hbase) · 하이브(Hive) · 스파크(Spark) · 플럼(Flume)과 스쿱(Sqoop) · 우지(Oozie) · 에이브로(Avro) 주키퍼(ZooKe..
-
데이터 정제
데이터 정제 · 데이터 셋을 쉽게 사용할 수 있도록 하는 과정입니다. · 빅데이터 처리에서 가장 중요한 작업 중 하나는 정제입니다. · 정제가 제대로 이루어지지 않을 경우 데이터의 구성이 일관되지 않으므로 빅데이터를 분석하는데 문제가 생기게 됩니다. · 다양한 매체로부터 데이터를 수집하여 원하는 형태로 변환하는 것입니다.
-
Penn Treebank Tagset(펜 트리뱅크 태그세트)의 사용 품사
Penn Treebank Tagset(펜 트리뱅크 태그세트)의 사용 품사 Alphabetical list of part-of-speech tags used in the Penn Treebank Project Number Tag Description 1. CC Coordinating conjunction 2. CD Cardinal number 서수 3. DT Determiner 관형사 4. EX Existential there 5. FW Foreign word 6. IN Preposition or subordinating conjunction 7. JJ Adjective 8. JJR Adjective, comparative 9. JJS Adjective, superlative 10. LS List item..