말뭉치(Corpus) · ≒ 코퍼스 · 정형이나 비정형인 단어나 표현의 묶음입니다. · 자연어 분석 작업을 위해 만든 샘플 문서 집합을 지칭합니다. · 소설, 신문 등의 문서를 단순히 모아놓은 것도 있지만 품사, 형태소, 등의 보조적 의미를 추가하고 쉬운 분석을 위해 구조적인 형태로 정리해 놓은 것도 포함됩니다.

신뢰도(conviction)· ≒ 확신도· 자료를 믿을 수 있는지 정도· 측정하고자 하는 현상을 얼마나 일관성 있게 측정했는가하는 정도(측정의 신뢰도)를 나타냅니다. · 신뢰도 계수, 상관계수 이용하여 나타냅니다. 품목 A가 포함된 거래 중에서 품목 A, B를 동시에 포함하는 거래일 확률은 어느정도인가를 나타내주며 일관성의 정도를 파악할 수 있습니다.

Moravec's Paradox (모라벡의 역설) · 어려운 것은 쉽고 쉬운 것은 어렵다 · 사람(Human)에게 쉬운 것은 로봇, 인공지능(AI)에게 어렵고, 사람에게 어려운 것은 로봇, 인공지능에게 쉬운 아이러니를 표현하는 말입니다.

과소적합(underfitting) · ≒ 과소평가 ≒ 미적합 · 과적합(overfitting )과 반대로 모델이 너무 간단한 경우에는 데이터의 면면과 다양성을 잡아내지 못할 것이고 훈련 데이터에도 잘 맞지 않을 것입니다. 즉, 너무 간단한 모델이 만들어진 것을 말합니다. · 너무 간단한 모델이 만들어져서 데이터의 특징과 다양성을 표현하지 못합니다. · 모델의 성능이 학습 데이터에서도 좋지 않은 경우 발생합니다. · 보통 미적합이 발생하면 모델이 데이터에 좋지 않은 것으로 새로운 모델을 찾아야 합니다. 과소적합 예 집이 있는 사람은 모두 자동차를 사려고 한다

형태소 분석(Morphological analysis) · 자연어 처리에서는 토큰(token)으로 형태소를 사용합니다. · 형태소 분석은 단어로부터 어근, 접두사, 접미사, 품사 등 다양한 언어적 속성을 파악하고 이를 이용하여 형태소를 찾아내거나 처리하는 작업을 말합니다.

계층적 군집의 결과 계층적 군집의 결과는 계통도 또는 덴드로그램(Dendrogram)의 형태로 표현됩니다. 덴드로그램(Dendrogram) · 어떤 특정 단계에서 병합 혹은 분할되는 군집들 간 관계를 파악하고 전체 군집들 간의 구조적 관계를 살펴보는 데 사용되는 도표입니다. · 정보를 트리 다이어그램 형태로 보여주는 그래프입니다. · 그래프의 구조를 통해서 항목간의 거리, 군집간의 거리를 알 수 있고 군집내의 항목간 유사정도를 파악함으로써 군집의 견고성을 해석할 수 있습니다. Resulting dendrograms with the original data matrix 계층구조 덴드로그램 - image.google.com http://bit.ly/36mI60p