Development/Big Data, R, ...(885)
-
3.Summary - 3. 텍스트 분류 결과 분석하기
불용어 처리(Stopword Removal)· 형태소 분석 결과로 입력된 단어들에 대하여 불용어 사전(불용어가 저장된 데이터베이스)을 참조하여 불필요한 키워드를 제거합니다. 즉, 형태소 분석 결과를 불용어 사전에서 검색하여 일치하는 내용이 나타나면 그 내용을 삭제하여 최적의 가용어만 추출합니다.· 일반적으로 불용어 처리를 위한 한국어 불용어 사전은 조사, 어미 등을 포함하고 있으며, 영어 불용어 사전은 관사, 전치사, be 동사 등을 포함하고 있습니다. https://codedragon.tistory.com/7619
-
텍스트 분석 절차
텍스트 분석 절차 텍스트 분석을 위한 전체적인 절차는 일반적으로 6단계로 이루어지며, 업무 특성에 따라 세부 항목을 변경하여 텍스트 분석 절차를 기획합니다. 텍스트 분석을 위한 전체적인 절차 · 요구사항 분석 · 텍스트 수집 · 텍스트 저장 및 전처리 · 텍스트 저장 및 전처리 · 텍스트 분석 · 텍스트 분석 서비스 제공 · 산출물 관리 및 공유 요구사항 분석 · 요구사항 분석은 텍스트 분석의 첫 단계로 분석 대상에 대한 사용자의 요구사항을 이해하고 문서화하는 과정입니다. · 요구사항 분석에서는 사용자의 요구를 정확하게 분석하여 텍스트 분석 목적에 적합한 다양한 해결 방법을 검토합니다. · 요구사항 분석을 통한 결과는 텍스트 수집 및 분석 과정에서 필요한 기본 자료가 되므로 사용자의 요구사항을 정확하고 ..
-
3.Summary - 3. 빅데이터 모델 평가 검증하기
과적합(overfitting)· 과적합은 제한된 샘플(혹은 훈련에 사용한 한정된 데이터)에 너무 특화가 되어, 새로운 샘플에 대한 예측의 결과가 오히려 나빠지거나 오차가 매우 커지거나 학습의 효과가 나타나지 않는 경우를 말합니다.· 비학습 데이터 혹은 향후에 만들어질 모델에 대해 예측력이 떨어지거나 성능이 좋지 않은 상태를 의미합니다. https://codedragon.tistory.com/8362https://codedragon.tistory.com/8416https://codedragon.tistory.com/10000https://codedragon.tistory.com/9763https://codedragon.tistory.com/9456
-
K-평균 클러스터링 절차
K-평균 클러스터링 절차 K-평균 클러스터링의 알고리즘의 수행 절차입니다.
-
1.Summary - 1. 가설 설정하기
가설 검정 방법 일반적으로 가설검정 방법은 대립가설의 형태에 따라서 양측검정과 단측검정이 있습니다. 양측검정(two-tailed testing) 단측검정(one-tailed testing) https://codedragon.tistory.com/10016 https://codedragon.tistory.com/10012 가설검정의 단계
-
2.Summary - 2-텍스트 데이터 분석 수행방법 계획하기
텍스트 분석 절차 6단계 텍스트 분석을 위한 전체적인 절차 https://codedragon.tistory.com/9971