ML(102)
-
Keras 패키지
Keras 패키지 · 케라스 · TensorFlow 패키지를 쉽게 사용할 수 있도록 도와주는 고수준 패키지이다. · TensorFlow나 Theano를 백엔드로 사용합니다. · 케라스는 텐서플로 기반으로 구동되므로 실습하는 컴퓨터에 텐서플로가 설치돼 있어야 합니다. · Keras를 사용하면 쉽게 신경망 모형을 구현할 수 있습니다. https://keras.io/
-
CNN(Convolutional Neural Network)
CNN(Convolutional Neural Network) · ≒ 컨볼루션 신경망 ≒ 합성곱 신경망 · 일반 신경망으로 이미지를 분류할 때 물체의 방향과 장소에 따라 인식의 문제가 나타나게 되는데 반해 우리 뇌 속 시각 피질의 신경 세포들은 물체의 방향과 장소가 바뀌어도 별 문제없이 인식할 수 있습니다. 이러한 신경생물학적 관찰이 컨볼루션 신경망 구조 설계에 동기를 부여하게 되었습니다. · 컨볼루션 신경망은 물체의 위치와 방향에 관계없이 물체의 고유한 특징을 학습할 수 있습니다. · 다층 신경망의 한 종류입니다. · 역전파 알고리즘을 사용하여 학습합니다. · 이미지의 픽셀값으로부터 직접 시각 패턴을 학습할 수 있습니다. · 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(mul..
-
데이터 정규화(normalization)
데이터 정규화(normalization) · 데이터 정규화를 통해 노이즈를 제거하여 줄여줍니다. · 숫자 값을 지정된 범위로 다시 조정하는 방법입니다. · 데이터의 폭이 클 때 적절한 값으로 분산의 정도를 바꾸는 과정입니다. 정규화 방법 항목 설명 최소-최대 정규화 · 0~1 사이에서 데이터를 선형적인 범위로 변환합니다. · 최소 0, 최대 1로 조정 Z점수 정규화 · 평균 및 표준편차를 기반으로 조정합니다. · 데이터와 평균의 차이를 표준편차로 나눠줍니다. 소수점 배열 · 특성 값의 소수점을 이동하여 데이터 크기를 조정합니다.
-
Perceptron
Perceptron · ≒ 퍼셉트론 · ≒ 단층신경망 · 신경망을 이루는 가장 중요한 기본 단위 · 입력 값과 활성화 함수를 사용해 출력 값을 다음으로 넘기는 가장 작은 신경망 단위입니다. · 1957년에 Rosenbaltt(로젠블라트)가 "Perceptron"이라는 개념을 발표하였습니다. · 발표 당시, 뉴런의 활성함수(activation function)로 "step function"을 사용했기 때문에 지금처럼 "sigmoid function"을 사용하는 신경망에 비해 제약이 존재합니다. · 하지만 입력의 중요도에 따라 출력이 결정이 되는 수학적 모델로서 의미가 있습니다. 여기서 입력의 중요도는 가중치에 따라 결정된다는 개념이 도입이 되었습니다. https://en.wikipedia.org/wiki/..
-
HDFS(하둡 분산파일시스템)
HDFS(하둡 분산파일시스템) · Hadoop Distributed File SYstem · 하둡은 대량의 자료를 저장하고 처리할 수 있는 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 자바기반의 오픈소스 프레임 워크입니다. · 분산처리 시스템인 맵리듀스(MapReduce)를 이용해 데이터를 처리합니다. · 하둡은 7년 간 개발되면서 개방형 프레임 워크로 빅데이터 시대를 이끌고 있습니다. 최근 하둡의 도입성과가 가시화되고 다양한 프로젝트가 진행되면서 하둡을 중심으로 한 새로운 제품군들이 등장하고 있습니다. · 하둡의 분산 파일 시스템 HDFS는 이기종간의 하드웨어로 구성된 컴퓨터 클러스터에서 대용량 데이터 처리를 위하여 개발된 것입니다. · 하둡이 사용하는 분산 저장소입니다. 분산된 환경에서..
-
수행 내용-빅데이터 처리를 위한 준비하기
수행 내용-빅데이터 처리를 위한 준비하기 수행 순서 수행 tip 수행 순서 단계 수행 항목 빅데이터 처리를 위한 환경을 파악한다. · 처리해야 할 데이터 크기, 생성속도, 빈도에 따른 빅데이터를 처리하기 위해서 어떻게 클러스터를 구축할 것인지를 파악하여 목적에 맞는 처리 시스템을 계획합니다. 빅데이터 처리 시스템 구축을 위한 세부 계획을 수립한다. · 빅데이터 처리 시스템 도입 및 설정에 필요한 계획을 수립하고, 클러스터 구축을 위한 하드웨어와 소프트웨어 등 제반 환경을 점검하고, 이에 대한 체크 리스트를 작성합니다. · 빅데이터 저장 시스템과 연계한 처리 방식과 수행 환경에 대한 운영 모드를 확인합니다. 운영모드는 의사분산 모드(pseudo-distributed mode) 또는 완전분산 모드(fully..