달력

1

« 2020/1 »

  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  •  
2020. 1. 6. 09:32

newaxis Development/Python

 

 

newaxis

·       같은 배열에 대해 차원만 1차원 증가시키는 경우에는 newaxis를 사용합니다.

·       newaxis 객체입니다.

 

https://docs.scipy.org/doc/numpy-1.13.0/reference/arrays.indexing.html

 

 


'Development > Python' 카테고리의 다른 글

LAB-불린 인덱스를 통한 데이터 정제  (0) 2020.01.07
Anaconda Python - install(설치하기)  (0) 2020.01.07
newaxis  (0) 2020.01.06
enumerate()  (0) 2020.01.05
NaN (not a number)  (0) 2020.01.04
Graphviz  (0) 2020.01.03
Posted by codedragon codedragon

댓글을 달아 주세요

 

 

선언부(Declaration)

JSP페이지 내에서 사용되는 변수 또는 메소드를 선언할 때 사용 합니다.

여기서 선언된 변수 및 메소드는 전역의 의미로 사용됩니다.

 

<%!

//java 코드 기술

%>

 

 

 

<%! //선언부: 변수 선언, 메서드 선언 영역

String str[] = { "JSP", "정말","재미","있다."};   

%>

<%! //선언부: 변수 선언

int number = 100;

String str = "Java Server Page";

%>

<%! //선언부: 메소드 선언

public int sum(int a, int b) {

return a+b;

}

%>

 

 

Posted by codedragon codedragon

댓글을 달아 주세요


 

 

Quant(퀀트)

·         Quantitative 줄임말

·         계량분석가, 계량적 수단을 주로 이용하는 사람

·         계량적 방법을 응용한 포트폴리오 관리, 투자 의사결정 등을 수행하는 사람

·         고도의 수학ㆍ통계지식을 이용해서 투자법칙을 찾아내고 컴퓨터로 적합한 프로그램을 구축해서, 이를 토대로 투자를 행하는 사람을 일컫는

 

http://bit.ly/35sQ0FB

http://bit.ly/35vqXSp

https://en.wikipedia.org/wiki/Quantitative_analyst

 

 


'Development > Big Data, R, ...' 카테고리의 다른 글

퍼셉트론의 한계점 1  (0) 2020.01.07
품사를 결정하는 방법  (0) 2020.01.07
Quant(퀀트)  (0) 2020.01.06
summary()  (0) 2020.01.06
3.Summary - 3. 텍스트 분류 결과 분석하기  (0) 2020.01.06
텍스트 분석 절차  (0) 2020.01.06
Posted by codedragon codedragon

댓글을 달아 주세요

2020. 1. 6. 08:28

기획서 작성 TIP Challenge



 

 

 

기획서 작성 TIP

 

 

STEP1

·       먼저 손으로 써봅니다.

·       생각하고 있는 ,

·       화면, 그림도 그리고,

·       해야할

·       두서없이 모든 적어봅니다.

 

 

 

 

 

STEP2

·       WORD 옮기면서 생각을 정리합니다.

 

 

 

 

 

STEP3

·       STEP1/2 통해 충분한 자료 수집합니다.

 

 

 

 

STEP4

·       알려준 기획서 목록 항목 참고해서 작성합니다.

 

 

 

 

 

STEP5

·       PPT 옮기면서 정리한 내용을 전달이 용이하도록

·       도식, 그림으로 표현합니다.

 


Posted by codedragon codedragon

댓글을 달아 주세요

 

 

Redmine GIT 연동시 고려사항

·       Remote repository 지원하지 않고 local repository 지원합니다. 원격저장소의 변경을 실시간으로 반영해 주지 못합니다.

·       대용량 repository web 처리시간이 많이 걸리게 되면 Apache Timeout 오류 발생합니다.

 


'Development > Git, PM' 카테고리의 다른 글

Brainstorming (브레인스토밍)  (0) 2020.01.20
PI 추진방법론  (0) 2020.01.13
Redmine과 GIT 연동시 고려사항  (0) 2020.01.06
Step4.형상관리 도구의 설치를 수행한다.  (0) 2019.12.31
데이터 아키텍처 프레임워크  (0) 2019.12.23
OSS 배포형태  (0) 2019.12.19
Posted by codedragon codedragon

댓글을 달아 주세요


 

 

오류 메시지

Index downloads are disabled, search results may be incomplete.


 

 

 

 

해결방법 1

eclipse 메뉴: [Windows] >> [Preferences] >>

[Maven] 선택 >>

[Download repository index updates on startup] 체크 >>

[Download Artifact Sources] 체크 >>

[Download Artifact JavaDoc] 체크 >> [Apply] >> [Apply and Close]


 

eclipse 재시작


 

이클립스가 재시작하면서 Maven 기본 repository 업데이트합니다.


 

 

 

 

 

해결방법 2

eclipse 메뉴: [Window] >> [Show View] >> [Other] >>

[Maven] > [Maven Repositories]


 

 

central(https://repo.maven.apache.org/maven2) 선택한 >> 마우스 우클릭 >> [Update Index]


 


Posted by codedragon codedragon

댓글을 달아 주세요


 

Tag 설정한 Log 필터 처리하여 보기 (up to date)

https://codedragon.tistory.com/8462

 

 


 

Tag 설정한 Log 필터 처리하여 보기 (old)

LogCat콘솔창 왼쪽 영역의 "Saved Filters" 옆에 있는 초록색 +버튼을 클릭합니다.

 

아래 같이 입력 >> [OK]

Filter Name

ActivityLifeCycle

by Log Tag

Lifecycle

by Log Level

info

 


 




필터
생성 완료! 


 

필터링 규칙 적용 로그


 

 





Posted by codedragon codedragon

댓글을 달아 주세요



 

 

summary()

·         데이터 컬럼에 대한 전반적인 기초 통계량 보여줍니다.

·         일반 함수(Generic Function), 주어진 인자에 대한 요약 정보를 보여줍니다.

·         데이터가 인자로 주어지면 간략한 해당 데이터의  통계 요약 보여주며 데이터 프레임을 인자로 주면 데이터 프레임에 대한 요약 정보를 알려주며 기계 학습 모델이나 통계 모델을 인자로 주면 모델의 요약 정보 출력해 줍니다.

 

 

summary(data)

 

인자

설명

data

데이터, 모델객체

 

 

http://bit.ly/2EJsbxO


 


'Development > Big Data, R, ...' 카테고리의 다른 글

품사를 결정하는 방법  (0) 2020.01.07
Quant(퀀트)  (0) 2020.01.06
summary()  (0) 2020.01.06
3.Summary - 3. 텍스트 분류 결과 분석하기  (0) 2020.01.06
텍스트 분석 절차  (0) 2020.01.06
3.Summary - 3. 빅데이터 모델 평가 검증하기  (0) 2020.01.05
TAG R lang
Posted by codedragon codedragon

댓글을 달아 주세요



 

 

불용어 처리(Stopword Removal)

·         형태소 분석 결과로 입력된 단어들에 대하여 저장된 불용어 사전(불용어가 저장된 데이터베이스) 참조하여 불필요한 키워드를 제거합니다. , 형태소 분석 결과를 불용어 사전에서 검색하여 일치하는 내용이 나타나면 내용을 삭제하여 최적의 가용어만 추출합니다.

·         불용어 처리를 위해 일반적으로 한국어 불용어 사전은 조사, 어미 등을 포함하고 있으며, 영어 불용어 사전은 관사, 전치사, be 동사 등을 포함하고 있습니다.

 

 

https://codedragon.tistory.com/7619

 


'Development > Big Data, R, ...' 카테고리의 다른 글

Quant(퀀트)  (0) 2020.01.06
summary()  (0) 2020.01.06
3.Summary - 3. 텍스트 분류 결과 분석하기  (0) 2020.01.06
텍스트 분석 절차  (0) 2020.01.06
3.Summary - 3. 빅데이터 모델 평가 검증하기  (0) 2020.01.05
K-평균 클러스터링 절차  (0) 2020.01.05
Posted by codedragon codedragon

댓글을 달아 주세요


 

 

텍스트 분석 절차

텍스트 분석을 위한 전체적인 절차는 일반적으로 6단계로 이루어지며, 업무 특성에 따라 세부 항목을 변경하여 텍스트 분석 절차를 기획합니다.

 

 

 

텍스트 분석을 위한 전체적인 절차


 

 

·         요구사항 분석

·         텍스트 수집

·         텍스트 저장 전처리

·         텍스트 저장 전처리

·         텍스트 분석

·         텍스트 분석 서비스 제공

·         산출물 관리 공유

 

 

 

 

 

요구사항 분석

·         요구사항 분석은 텍스트 분석의 단계로 분석 대상에 대한 사용자의 요구사항을 이해하고 문서화하는 과정입니다.

·         요구사항 분석에서는 사용자의 요구를 정확하게 분석하여 텍스트 분석 목적에 적합한 다양한 해결 방법을 검토합니다.

·         요구사항 분석을 통한 결과는 텍스트 수집 분석 과정에서 필요한 기본 자료가 되므로 사용자의 요구사항을 정확하고 일관성 있게 분석하여 문서화합니다.

 

 

 

텍스트 수집

·         텍스트 수집은 수집 대상 데이터를 선정하고 수집을 위한 세부 계획을 수립한 업무 특성및 목적에 적합한 데이터를 수집하는 과정입니다.

·         텍스트 수집 활동은 텍스트 분석 서비스 품질을 결정하는 중요한 업무로 수집 가능성, 이용 목적에 맞는 데이터 항목 포함 여부, 개인정보침해 여부, 수집 주기, 비용 관련 사항들을 사전에 검토한 , 세부 수집 계획서를 작성합니다. 작성된 수집 계획서에 따라 사전 테스트를 진행하여 수집 활동을 진행합니다.

·         데이터의 유형 특성에 따라 다양한 데이터 수집 기술들이 활용되고 있으며, 주요 기술은 다음과 같습니다.

 

 

텍스트 수집을 위한 주요 기술

구분

특징

비고

Crawling

·         SNS, 뉴스, 정보 인터넷상에서 제공되는 문서·정보 수집

·         URL 링크를 따라가며 반복적으로 수집

문서 수집

Scraping

·         크롤러와 달리, 하나의 웹사이트(혹은 문서) 대하여 정보 수집

문서 수집

FTP

·         TCP/IP 프로토콜을 활용하는 인터넷 서버로부터 각종 파일을 송수신

·         보안을 강화하기 위해 SFTP 사용 고려

·         서버 연동 시에는 전용 네트워크 구축 고려

 

FILE 수집

오픈 API

·         서비스, 정보, 데이터 등을 어디서나 쉽게 이용할 있도록 개방된 API 데이터 수집방식 제공

·         다양한 애플리케이션을 개발할 있도록 개발자와 사용자에게 공개

실시간 데이터 수집

RS

·         RSS 기반 최신의 정보를 공유하기 위한 XML 기반 콘텐츠 배급 프로토콜

콘텐츠 수집

 

출처: 양현철, 김진철, 신신애 (2014). 『데이터 수집, 빅데이터 활용 단계별 업무절차 기술 활용 매뉴얼(version 1.0). 미래창조과학부·한국정보화진흥원. p.14

http://codedragon.tistory.com/6788

 

 

 

 

텍스트 저장 전처리

·         텍스트 분석을 위한 데이터 처리 기술 데이터 저장 방식을 선정하고, 선정된 데이터 저장 방식에 따라 데이터 저장 계획서를 작성합니다.

·         데이터 처리 기술은 수집된 데이터로 부터 불필요한 항목(불용어 ) 제거하고 대상 텍스트의 품질을 향상하기 위한 과정으로 다양한 데이터 ·후처리 기법(데이터 필터링, 변환, 정제, 통합 ) 활용됩니다.

·         수집된 텍스트의 특성에 맞게 저장의 유연성, 확장성 등을 고려하여 가장 접합한 DB 선정하고 구축합니다.

·         데이터 저장 계획서는 데이터 수집 주기, 저장 방식, 관리 방식(백업 ), 테스트 계획을 포함하도록 합니다.

 

 

 

 

텍스트 분석

·         텍스트 분석은 텍스트 분석 소프트웨어 혹은 패키지 등을 활용하여 수집·저장된 데이터를 분석하여 서비스를 제공하는 과정입니다.

·         텍스트 분석은 해결하고자 하는 문제 정의, 분석을 위한 시스템 환경(소프트웨어 포함) 분석, 텍스트 분석 방법론 세부 분석 계획을 먼저 수립합니다. 수립된 세부 분석 계획에 따라 텍스트 분석을 수행합니다.

·         텍스트 분석은 입력 텍스트에 대한 형태소 분석, 불용어 처리를 통한 키워드 추출, 단어와 문서 관계 표현 일련의 전처리(pre-processing) 과정을 수행한 진행되며, 텍스트 분석을 위한 주요 방법은 텍스트 분류, 텍스트 군집, 텍스트 요약 등이 있으며, 해결하고자 하는 업무에 따라 적합한 분석 방법을 적용하여 의미 있는 정보를 추출합니다.

·         최근 검색 엔진 등에서 사용자의 입력 검색어에 대한 연관 검색어를 제공하여 검색의 재현율(recall) 향상하기 위해 연관 단어 분석 등의 다양한 텍스트 분석 기법에 관한 연구가 활발히 진행되고 있으나, 아직 텍스트 분류, 군집, 요약 등에 비해 적용될 있는 분야가 제한적입니다.

 

 

 

 

 

텍스트 분석 서비스 제공

·         텍스트 분석 서비스를 제공하는 방법으로 널리 이용되고 있는 방법은 텍스트 분석 결과 시각화입니다. , 다양한 텍스트 분석 기술을 활용해 추출된 정보를 사람들이 쉽게 활용할 있도록 시각화하여 제공합니다.

·         시각화 자료는 텍스트 분석 과정에서 오류 부분에 대한 파악 수정, 보완을 용이하게 한다. 시각화 기능은 텍스트 분석 서비스 목적에 따라 다르지만 일반적으로 태그 클라우드, 지도, 차트 등을 이용하여 제공되고 있으며, 사용자들이 분석 결과를 쉽게 검색할 있도록 지원합니다.

 

 

 

 

산출물 관리 공유

·         텍스트 분석에서 도출된 산출물은 업무 효율성 제고를 위해 현업 구성원에게 공유되어야 합니다.

·         산출물 공유를 위해서는 분석 단계 계획서 등을 문서화하고 버전 관리가 수행되

·         어야 합니다. 하지만 외부로의 수집 데이터 분석 결과 유출을 방지하고 안전한 활용을 위해서는 개인정보 처리(비식별화, 암호화 ) 보안 관리를 수행합니다.

 

 


Posted by codedragon codedragon

댓글을 달아 주세요