SAS(Statistical Analysis System) · 미국 노스캐롤라이나 주립 대학교에서 1967년 원형이 개발되고 SAS Institute사에서 기능을 확장한, 통계 해석을 중심으로 한 통계분석 소프트웨어 제품군입니다. · 비즈니스 인텔리전스, 데이터 관리 및 예측분석과 관련한 제품군을 SAS연구소에서 개발하였습니다. · 2002년에는 텍스트 마이너 소프트웨어를 개발하였고, 2010년에는 소셜 미디어 분석, 소셜 미디어 모니터링, 참여와 심리 분석을 위한 도구 등을 개발하였습니다. http://bit.ly/2FjrJJV https://www.sas.com/ko_kr/home.html

텍스트 데이터 vs 시각화된 데이터 텍스트로만 구성된 데이터와 이미지로 구성된 데이터 중 어느 것이 더 직관적인지 바로 확인할 수 있습니다.

Dropout: A Simple Way to Prevent Neural Networks from Overfitting https://bit.ly/2FV7iA8 직접 다운로드

Overfitting 해결방법 Overfitting의 문제를 피하기 위한, 가장 확실한 대책 중 하나는 훈련 데이터(Training data)의 양을 늘리는 것이다. 훈련 데이터양을 통한 Overfitting 해결시의 문제점 · 훈련 데이터는 아무런 대가 없이 그냥 얻어지는 것이 아닙니다. · 양질의 훈련 데이터를 얻으려면 많은 시간과 비용을 필요로 합니다. · 어떤 경우는 추가 데이터의 확보가 어렵거나 불가능한 경우도 있다. · 학습 데이터의 양이 많아지면 결과적으로 학습에 걸리는 시간이 늘어나는 문제도 발생합니다.

HDFS(하둡 분산파일시스템) · Hadoop Distributed File SYstem · 하둡은 대량의 자료를 저장하고 처리할 수 있는 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 자바기반의 오픈소스 프레임 워크입니다. · 분산처리 시스템인 맵리듀스(MapReduce)를 이용해 데이터를 처리합니다. · 하둡은 7년 간 개발되면서 개방형 프레임 워크로 빅데이터 시대를 이끌고 있습니다. 최근 하둡의 도입성과가 가시화되고 다양한 프로젝트가 진행되면서 하둡을 중심으로 한 새로운 제품군들이 등장하고 있습니다. · 하둡의 분산 파일 시스템 HDFS는 이기종간의 하드웨어로 구성된 컴퓨터 클러스터에서 대용량 데이터 처리를 위하여 개발된 것입니다. · 하둡이 사용하는 분산 저장소입니다. 분산된 환경에서..

수행 내용-빅데이터 처리를 위한 준비하기 수행 순서 수행 tip 수행 순서 단계 수행 항목 빅데이터 처리를 위한 환경을 파악한다. · 처리해야 할 데이터 크기, 생성속도, 빈도에 따른 빅데이터를 처리하기 위해서 어떻게 클러스터를 구축할 것인지를 파악하여 목적에 맞는 처리 시스템을 계획합니다. 빅데이터 처리 시스템 구축을 위한 세부 계획을 수립한다. · 빅데이터 처리 시스템 도입 및 설정에 필요한 계획을 수립하고, 클러스터 구축을 위한 하드웨어와 소프트웨어 등 제반 환경을 점검하고, 이에 대한 체크 리스트를 작성합니다. · 빅데이터 저장 시스템과 연계한 처리 방식과 수행 환경에 대한 운영 모드를 확인합니다. 운영모드는 의사분산 모드(pseudo-distributed mode) 또는 완전분산 모드(fully..