달력

3

« 2020/3 »

반응형


 

 

 

R Code 예제

 

# 문장 부호를 제거하기

corpus <- tm_map(corpus, removePunctuation)

 

# 특정 문자를 제거하기(숫자 0~9 제거)

corpus <- tm_map(corpus, removeWords, c("0", "1", "2", "3", "4", "5", "6", "7", "8", "9"))

 

# 입력 텍스트가 영문인 경우, 대문자를 소문자로 변환하기

corpus <- tm_map(corpus, tolower)

 

 

https://codedragon.tistory.com/9992

 


반응형
Posted by codedragon codedragon

댓글을 달아 주세요

반응형


 

re 모듈을 통한 정규표현식 사용

·       {re} 모듈의 compile() 함수는 정규식 패턴을 입력으로 받아들여 정규표현식 객체 리턴합니다. re.compile('검색할문자열')형식으로 함수를 호출하면 정규표현식 객체 (re.RegexObject 클래스 객체)를 리턴합니다.

·       re.compile()함수를 이용하여 정규표현식(py*thon)을 컴파일하고 컴파일된 패턴객체( re.compile() 메소드의 결과로 리턴되는 객체(pt) )를 이용하여 그 이후의 작업을 수행하게 됩니다.

 

 

import re

pt = re.compile('py*thon')

 

 

구분

단계

코드

1

re 모듈 임포트

 

 

import re

2

패턴 생성

re.compile()함수로 Regex 객체를 생성합니다.

인자로 raw string 사용합니다.

 

 

re.compile()

3

문자열 검색

정규식을 이용한 문자열 검색 메소드 search() 인자로 검색할 문자열을 전달하면 Match객체가 반환됩니다.

 

 

regex.search(target)

 

4

매칭결과 확인

group()함수로 실제 매칭된(검색된) 문자열을 반환합니다.

 

 

matchobject.group()

 

 

 

 

패턴(pattern)

정규표현식을 컴파일한 결과를 의미합니다.

 

 

 

 

 

 

Match 객체 타입

<class '_sre.SRE_Match'>

 

 

반응형

'Development > Regular Expression' 카테고리의 다른 글

sub()  (0) 2020.03.21
Greedy(탐욕스러운), non-greedy 문자 ?  (0) 2020.03.16
re 모듈(regular expression)  (0) 2020.03.09
반복 {m,n}  (0) 2020.03.04
반복 (+)  (0) 2020.03.04
반복 (*)  (0) 2020.03.04
Posted by codedragon codedragon

댓글을 달아 주세요

반응형


 

 

 

라인 추가 문제 해결

윈도우즈의 경우 {csv} 모듈에 데이터를 쓸 때 각 라인 뒤에 빈 라인이 추가되는 문제가 발생합니다. 이를 없애기 위해서는 파일을 open 할 때 newline='' 와 같은 옵션을 지정해서 파일을 오픈해야 합니다.

 

구분

라인 추가 문제 해결 방법

파이썬 3

파일을 open 할 때 newline='' 와 같은 옵션을 지정합니다.

파이썬 2

 newline 옵션 없이 바이너리 모드로 오픈해야 합니다.

 

 


반응형
Posted by codedragon codedragon

댓글을 달아 주세요

반응형



 

 

에러메시지

DatabaseError: ORA-00054: 리소스가 사용 중이어서 NOWAIT가 지정되었거나 시간 초과가 만료된 상태로 획득합니다.

 

 

 

 

해결방법1

열려있는 Connect객체와 Cursor객체의 자원을 해제 다시 수행합니다.

 

cursor.close()

conn.close()

 

 

 

 

 

 

해결방법2

다수의 사용자가 하나의 DB 작업하다가 lock 걸리는 경우는

선행 사용자가 commit 해주면 간단히 해결되어집니다.

 


반응형
Posted by codedragon codedragon

댓글을 달아 주세요

반응형


 

결함관리 프로세스

결함관리 프로세스는 7개의 활동으로 구성됩니다. 

 

프로세스

설명

결함관리 계획

결함관리 계획은 전체 프로세스에서 결함관리에 대한 일정, 인력, 업무 프로세스를 확보하여 계획을 수립하는 것을 말합니다.

결함 기록

테스터는 발견된 결함에 대한 정보를 결함관리 DB 기록합니다.

결함 검토

등록된 결함에 있어서 주요 내용을 검토하고, 결함을 수정할 개발자에게 전달합니다.

결함 수정

개발자는 할당된 결함의 프로그램을 수정합니다.

결함 재확인

테스터는 개발자가 수정한 내용을 확인하고 다시 테스트를 수행합니다.

결함 상태 추적 모니터링 활동

결함관리 팀장은 결함관리 데이터베이스를 이용하여 대시보드 또는 게시판 형태의 서비스를 제공합니다.

최종 결함 분석 보고서 작성

발견된 결함에 대한 내용과 이해관계자들의 의견이 반영된 보고서를 작성하고 결함관리를 종료합니다.

 

 


반응형
Posted by codedragon codedragon

댓글을 달아 주세요

반응형

 

 

시스템 테스트(System Test)

·         소프트웨어의 전체 시스템에 대한 테스트 수행합니다.

·         기능, 성능, 메모리, 요구사항 만족 여부 전반적인 테스트 진행합니다.

·         출시 전에 기능 완성도 성능을 검증하는 마지막 단계의 테스트합니다.

·         독립적인 테스트 테스트를 진행합니다.

 

 

 

시스템 테스트 항목

·         모든 요구사항의 정확한 실행여부

·         사용성, 이식성, 신뢰성, 유지보수성 비기능적인 요구사항

·         하드웨어, 소프트웨어, 운영자의 유저 인터페이스 측면의 요구사항

·         데이터나 다른 리소스의 과부하 상태에서의 내구성

·         매뉴얼(사용자, 관리자) 적절성

 

 

 

 

 

시스템 테스트 종류

구분

테스트 기법

구조적(Structural) 테스트 기법

·         스트레스(Stress) 테스트

·         회복(Recovery) 테스트

·         준거성(Compliance) 테스트

·         보안(Security) 테스트

기능적(Functional) 테스트 기법

·         요구사항(Requirement) 테스트

·         회귀(Regression) 테스트

 

 


반응형
Posted by codedragon codedragon

댓글을 달아 주세요

반응형


 

 

프로젝트 수행 단계에 따른 테스트의 접근 방법

 

·         단위 테스트

·         통합 테스트

·         시스템 테스트

·         인수 테스트

 

 


반응형

'Security > SecureCoding' 카테고리의 다른 글

결함관리 프로세스  (0) 2020.03.09
시스템 테스트(System Test)  (0) 2020.03.09
프로젝트 수행 단계에 따른 테스트의 접근 방법  (0) 2020.03.09
스프린트 계획 미팅  (0) 2020.03.06
V-model(V 모델)  (0) 2020.03.01
SQL Injection 공격  (0) 2020.02.23
Posted by codedragon codedragon

댓글을 달아 주세요

반응형



 

 

정보 시각화 방법

정보를 시각화하는 방법은 시각화의 목적과 의도, 데이터 유형에 따라 크게 시간 시각화,분포 시각화, 관계 시각화, 비교 시각화, 공간 시각화로 구분할 있습니다.

 

분류 기준은 네이션 야우(Nathan Yau) 「비주얼라이즈 디스(Visualize This)」에서 소개한 시각화 방법들을 인용한 것이며, 시각화 방법 분류 기준으로 많이 활용됩니다.

 

시각화 목적에 따라 데이터가 담고 있는 정보와 의미를 전달하기에 효과적인 차트와 그래프는 매우 다양하며, 비즈니스 요구에 맞는 새로운 방식의 차트와 그래프들이 개발되고 있습니다.

 

어떤 차트는 다수의 특징을 가지고 있어 하나 이상의 분류 방법에 속할 있어 차트를 시각화하는 방법으로 분류하는 유일한 기준은 아니라는 것을 유념하시기 바랍니다. 예를 들어 막대 그래프의 경우 시간에 따른 변화를 보여주기도 하고 범주 간의 비교도 가능하기 때문입니다. 그러므로 정보 시각화 방법으로 차트나 그래프를 선택할 , 차트나 그래프의 용도와 특성을 먼저 이해하고 시각화 목적에 가장 적합한 것을 선택해야 합니다. 특히 시각화 도구마다 다양한 차트와 그래프를 제공하고 있어 시각화 도구에 의해 정보 시각화방법을 결정하는 경우가 많은데, 차트와 그래프의 쓰임새를 먼저 알고 시각화 목적에 적절한 수단인지를 결정하여 적합한 차트나 그래프를 선택하는 것이 현명합니다.

 

현재 가장 많이 사용되고 있는 차트와 그래프들을 시각화 방법별로 구분한 것입니다.

구분

시각화 방법

시간 시각화

·         막대 그래프

·         누적 막대 그래프

·         산점도

·         그래프

·         계단식 그래프

·         영역 차트

분포 시각화

·         파이 차트

·         도우넛 차트

·         누적 막대 그래프

·         트리맵

·         누적 영역 차트

관계 시각화

·         산점도

·         산점도 행렬

·         버블 차트

·         히스토그램

비교 시각화

·         막대 그래프

·         히트맵

·         평행 좌표계

·         스타 차트

·         체르노프 페이스

공간 시각화

·         지도 매핑

·         등치지역도

·         도트 플롯맵

·         버블 플롯맵

·         등치선도

·         입자 흐름도

·         카토그램

 

 

 

 

출처: 네이션 야우([2011] 2012). 『비주얼라이즈 디스: 빅데이터 시대의 시각화+인포그래픽 기법(VISUALIZE

THIS: The FlowingData Guide to Design, Visualization, and Statistics). 송용근(). 에이콘.

http://www.acornpub.co.kr/book/visualize-this

 


반응형
Posted by codedragon codedragon

댓글을 달아 주세요

반응형


 

데이터 유형

빅데이터는 유형에 따라 정형, 비정형, 반정형의 데이터를 가지고 있습니다.

 

유형

설명

정형 데이터

(Structured data)

·       정량 데이터(Quantitative data)

·       형태가 있는 데이터, 형식이 정해져 있는 데이터

·       고정된 필드 저장된 데이터

·       통계적 분석을 수행할 잇는 테이블 형태 정리된 데이터

·       객관적으로 측정이 가능합니다.

·       DB 형태의 데이터

·       수치화된 데이터, 연산이 가능한 데이터

·       엑셀 데이터(스프레드시트), XML, CSV

·       HTML, JSON

 

·        

비정형 데이터

(Unstructured data)

·       정성데이터Qualitative data)

·       형태(형식) 없는 데이터

·       고정된 필드에 저장되어 있지 않은 데이터

·       형태와 구조가 복잡 데이터

·       원시데이터

·       연산이 불가능한 데이터

·       주로 문자나 이미지 형태로 이루어져 있습니다.

 

 

반정형 데이터

(Semi-structured data)

·       값과 형식이 다소 일관성이 없는 데이터

·       정형구조의 데이터 모델을 준수하지 않는 정형데이터의 형태

·       일반적으로 파일(file) 형태로 저장됩니다.

 

 

 


  

https://codedragon.tistory.com/8026

 

반응형
Posted by codedragon codedragon

댓글을 달아 주세요

반응형


 

회귀분석(Regression Analysis)

·         전통적인 통계분석에서 많이 사용하는 예측 방법입니다.

·         하나 또는 이상의 변수들(독립변수) 다른 변수(종속변수) 미치는 영향(관계) 수학적인 모형을 이용하여 설명하고 추론할 있는 통계 기법입니다. ,  일정한 패턴을 활용하여 무엇인가를 예측하는 분석기법입니다.

·         개의 종속 변수(dependent variable) 설명 변수들(explanatory variable(s))과의 관계를 모델링합니다.

·         여러 가지 변수가 나타내는 선형관계를 모형화한 입니다.

·         독립변수가 종속변수에 영향을 미치는지 확인하기 위해 실시하는 분석 방법입니다.

·         독립변수와 종속변수 사이에 인과관계 존재할 , 관계의 정도를 분석하고 통계적 유의성을 검증합니다.

·         목적 (Target Value) 연속성이 있습니다.

·         일반적으로 변량값의 변화 다른 변량값의 변화 갖는 수학적인 함수식을 파악함으로써 변량 사이의 상호관계를 추론하게 되는 방법을 말합니다. , 예측 & 추정 시에 사용합니다.

·         상관분석은 변수 간의 1차원 관계를 방향성 없이 추정하는 것이라면, 회귀분석은 변수가 다른 변수에 1차원 혹은 2차원 이상의 영향을 주고 있다는 가정 아래 수행됩니다. 여기서 영향을 주는 변수는 독립변수(independent variable)라고 하며, 영향을 받는 변수는 종속변수(dependent variable)라고 합니다.

·          

·         변수 간의 관계를 조사하는 통계적 기법을 뜻합니다. 관계를 정의하기 위해 방정식 사용합니다. 독립변수와 종속변수간의 관계를 설명하는 회귀식의 회귀계수를 찾아내고 회귀식과 회귀계수가 유의한지를 살펴봅니다.

 



반응형
Posted by codedragon codedragon

댓글을 달아 주세요