달력

11

« 2019/11 »

  •  
  •  
  •  
  •  
  •  
  • 1
  • 2


 

 

nltk 데이터 다운하기

 

 

nltk.download() 실행하면 NLTK Downloader 실행됩니다.

nltk.download()

 

 

[all] 선택된 상태에서 왼쪽의 [Download] 버튼 클릭


 

설치 ...


 


 

 

 

 

 

update 경우


 

 


 


'Development > Python' 카테고리의 다른 글

ERROR-raise LookupError(resource_not_found), 해결방법  (0) 2019.11.21
산술 연산자(사칙연산자)  (0) 2019.11.19
nltk 데이터 다운하기  (0) 2019.11.18
클래스 정의  (0) 2019.11.17
dtype  (0) 2019.11.15
AttributeError: module 'xxx' has no attribute 'xxx'  (0) 2019.11.14
Posted by codedragon codedragon

댓글을 달아 주세요


 

Java Collection Framework(자바 컬렉션 프레임워크)

·       자바에서 얘기하는 Java Collections Framework는 객체들을 한 곳에 모아 관리하고 또 그것을 편하게 사용하기 위해 제공되는 환경입니다.

·       다수의 데이터를 쉽고 효과적으로 처리할 수 있는 표준화된 방법을 제공하는 클래스의 집합을 의미합니다.

·       데이터를 저장하는 자료 구조와 데이터를 처리하는 알고리즘을 구조화하여 클래스로 구현해 놓은 것입니다.

 

컬렉션

데이터 그룹, 다수의 데이터

프레임워크

잘 정의된, 약속된 구조와 골격을 가진, 표준화된 프로그래밍 방식

자바의 컬렉션 프레임워크

인스턴스의 저장과 참조를 위해 잘 정의된 클래스들의 구조(architecture)

컬렉션 프레임워크가 제공하는 기능의 영역

자료구조와 알고리즘

 

 

 

컬렉션 프레임워크 특징

데이터를 다루기 위한 다양한 클래스들을 제공하여 개발자에게 편의를 제공합니다.

인터페이스등 프레임워크 구조를 표준화하여 객체 지향적 설계를 통해 개발생산성과 재사용성이 높은 코드를 작성할 수 있습니다.

 

 



Posted by codedragon codedragon

댓글을 달아 주세요



 

 

의사결정나무 구조

·         의사 결정 나무는 노드마다 질문을 던지고 응답에 따라 가지를 쳐서 데이터를 분리합니다.

·         데이터가 얼마나 분리되었는지는 불순도(impurity)라는 기준으로 평가하며, 가장 좋은 질문은 노드의 데이터를 개의 자식 노드로 분리했을 자식 노드들의 불순도가 가장 낮아지는 질문입니다.

 


 

구분

설명

노드

(node)

·         , 삼각형, 사각형과 같은 도형으로 표현

뿌리마디

(root node)

·         위의 마디

·         노드 분류의 시작점에 해당하는 최상단에 위치한 노드

·         분류(또는 예측)대상이 되는 모든 자료집단을 포함합니다.

 

부모마디

(parent node)

·         상위마디

·         주어진 마디의 상위마디

·         상위의 마디가 하위마디로 분기 떄의 상위 마디

자식마디

(child node)

·         하위 마디

·         하나의 마디로부터 분리되어 나간 2 이상의 마디들

중간마디

(Internal Node)

·         부모마디와 자식마디가 모두 있는 마디

최종마디

(terminal node)

·         잎사귀 노드 리프 노드(leaf node) 끝마디

·         이상 분기되지 않는 마디

·         이상 자식 노드가 없는 제일 하단의 노드

 

가지

(Branch)

·         뿌리마디로부터 끝마디까지 연결된 마디들

깊이

(Depth)

·         뿌리마디부터 끝마디까지의 중간마디들의

가지분할

(Split)

·         나무의 가지를 생성하는 과정

가지치기

(Pruning)

·         생성된 가지를 잘라내어 모형을 단순화하는 과정

 

 

 

가지치기(Pruning)

끝마디가 너무 많으면 모형이 과대 적합된 상태로 현실문제에 적용할 있는 적절한 규칙이 나오지 않게됩니다. 따라서 분류된 관측치의 비율 또는 MSE(Mean Squared Error)등을 고려한 수준의 가지치기 규칙을 제공해야 합니다. , overfitting 막아주어야 합니다.

 

방법

설명

pre-pruning

tree 생성을 사전에 중단합니다.

post-pruning

데이터 포인트가 적은 node 삭제하거나 병합합니다.

 

 

 

 

 

Posted by codedragon codedragon

댓글을 달아 주세요


 

 

기계학습 방법(알고리즘 분류)

기계학습 방법에는 교사 학습, 비교사 학습, 강화 학습 가지가 있습니다.

종류

동일 용어

교사 학습

·         Supervised Learning

·         지도학습

비교사 학습

·         Unsupervised Learning

·         자율학습

·         비지도학습

강화 학습

·         Reinforcement Learning

 

 

 

 

 

 

 

기계학습 방법 차이

종류

차이

교사 학습

·         정답(목적값) 있어서 바로 바로 피드백을 받으면서 학습합니다.

·         학습 데이터마다 레이블을 가지고 있습니다.

 

비교사 학습

·         정답이 없는 것으로, 값의 특성 파악하여 분류하는 학습 방법입니다.

·         학습 데이터에 레이블을 가지고 있지 않습니다.

준교사 학습

·         학습 데이터 일부의 레이블 가지고 있습니다.

강화 학습

·         정답은 모르지만, 행동에 대한 보상을 통해 최대의 보상을 받는 방법으로 학습합니다.

 

 


'Development > Big Data, R, ...' 카테고리의 다른 글

의사결정나무 수행 단계  (0) 2019.11.19
의사결정나무 구조  (0) 2019.11.18
기계학습 방법(알고리즘 분류)  (0) 2019.11.18
랜덤포레스트(Random forest)  (0) 2019.11.17
선형 회귀(Linear Regression)  (0) 2019.11.16
나이브베이즈 특징  (0) 2019.11.16
Posted by codedragon codedragon

댓글을 달아 주세요