달력

11

« 2019/11 »

  •  
  •  
  •  
  •  
  •  
  • 1
  • 2


 

 

SQL(Standard Query Language)

·         SQL RDBMS 표준 언어

·         SQL문을 이용해서 단순한 쿼리뿐만 아니라 데이터 베이스 객체를 만들거나, 제거하고, 데이터를 삽입, 갱신, 삭제하거나 다양한 운영 관리 작업을 있습니다.

·         SQL문이 첫선을 보인 것은 1970년대 IBM 의해서이며, 이후 ANSI/ISO 표준으로 편입되어 여러 차례의 개량과 개발을 거쳤다.

·         https://codedragon.tistory.com/8225

 

 

 

 

SQL 종류

구분

설명

DDL

데이터와 구조를 정의하는 언어

DML

데이터의 검색과 수정을 위한 언어

DCL

데이터 베이스의 권한을 정의하는 언어

 

 

 

 

 

DDL 관련 SQL

SQL

설명

CREATE

데이터베이스 객체를 생성합니다.

DROP

데이터베이스 객체를 삭제합니다.

ALTER

기존에 존재하는 데이터베이스의 객체를 다시 정의하는 역할을 합니다.

 

 

 

 

 

 

DML 관련 SQL

SQL

설명

INSERT

데이터베이스 객체에 데이터를 입력합니다.

UPDATE

데이터베이스 객체에 데이터를 갱신합니다.

SELECT

데이터베이스 객체에 데이터로 부터 데이터를 검색합니다.

COMMIT

커밋 구문 전에 발생한 데이터베이스 액션을 영구히 저장합니다.

ROLLBACK

마지막으로 발생한 커밋 후의 데이터베이스 액션을 원시 데이터로 복구합니다.

 

 

 

 

DCL 관련 SQL

SQL

설명

GRANT

데이터베이스 객체에 권한을 부여

REVOKE

이미 부여된 데이터베이스 객체의 권한을 취소

 

 


Posted by codedragon codedragon

댓글을 달아 주세요



 

 

WEKA API documentation

http://weka.sourceforge.net/doc.dev/overview-summary.html


 

 


'Development > Java' 카테고리의 다른 글

Wrapper클래스 활용  (0) 2019.11.14
SimpleDateFormat  (0) 2019.11.13
WEKA API documentation  (0) 2019.11.10
WEKA - arff Dataset  (0) 2019.11.10
Hadoop - install for windows (설치 및 설정하기)  (0) 2019.11.10
오버라이딩(Overriding) vs 오버로딩(Overloading)  (0) 2019.11.07
Posted by codedragon codedragon

댓글을 달아 주세요

 

WEKA - arff Dataset

 

airline.arff
0.00MB
breast-cancer.arff
0.03MB
contact-lenses.arff
0.00MB
cpu.arff
0.01MB
cpu.with.vendor.arff
0.01MB
credit-g.arff
0.15MB
diabetes.arff
0.04MB
glass.arff
0.02MB
hypothyroid.arff
0.30MB
ionosphere.arff
0.08MB
iris.2D.arff
0.00MB
iris.arff
0.01MB
labor.arff
0.01MB
ReutersCorn-test.arff
0.49MB
ReutersCorn-train.arff
1.17MB

 

ReutersGrain-test.arff
0.49MB
ReutersGrain-train.arff
1.17MB
segment-challenge.arff
0.19MB
segment-test.arff
0.10MB
soybean.arff
0.19MB
supermarket.arff
1.93MB
unbalanced.arff
0.18MB
vote.arff
0.04MB
weather.nominal.arff
0.00MB
weather.numeric.arff
0.00MB
data.zip
1.60MB

 

Posted by codedragon codedragon

댓글을 달아 주세요



 

 

오분류표를 활용하여 모형을 평가하는 지표1

·         정분류율(Accuracy, recognitionrate)

·         오분류율(Error rate, misclassification rate)

 

 

 

정분류율(Accuracy, recognitionrate)

·         탐지율(맞게 검출한 비율)

·         전체 관측치중 실제값과 예측치가 일치한 정도 나타냅니다.

·         정분류율은 범주의 분포가 균형을 이룰 효과적인 평가지표입니다.

·         ex) 실제 악성/정상인지 맞게 예측한 비율

 

·         전제 중에서 올바르게 예측한 정도 의미합니다.

·         TP(True Positive) TN(True Negative) 더하여 전부의 합계로 나눈 값입니다.

·         P P N N으로 얼마나 분류하였는가?

 

 

 


 

 

 

 

 

 

 

오분류율(Error rate, misclassification rate)

·         오차비율

·         전체 값에서 오차의 값이 발생한 비율을 나타냅니다.

·         모형이 제대로 예측하지 못한 관측치 평가하는 지표입니다.

·         오분류율은 전체 관측치 실제값과 예측치가 다른 정도를 나타내며 1-accuracy 또는 다음과 같은 식으로 평가됩니다.

  

 

 


 


'Development > Big Data, R, ...' 카테고리의 다른 글

이상치(anomaly) 처리  (0) 2019.11.11
맥주와 기저귀  (0) 2019.11.11
정분류율 & 오분류율  (0) 2019.11.10
일반 분류기 vs 컨볼루션 신경망  (0) 2019.11.10
과적합(overfitting)  (0) 2019.11.09
Jitter(지터)  (0) 2019.11.09
Posted by codedragon codedragon

댓글을 달아 주세요


 

 

제어 구조(Control structure)

·       Solidity 언어는 기존의 Javascript 언어 C 언어와 유사합니다.

·       Solidity Javascript 대부분의 control structure 거의 그대로 사용할 있습니다.

·       switch goto 기존 언어와 사용방법이 다르므로 사용에 주의를 기울여야 합니다.

·       switch goto를 제외한 나머지 if, else, while, do, for, break, continue, return 기존 언어 그대로 사용됩니다.

 



Posted by codedragon codedragon

댓글을 달아 주세요


 

 

S/W 프로젝트 계획

·       누가, 언제, 무엇을, 어떻게 것인가를 사젂에 결정하는 작업입니다.

·       소프트웨어 생명 주기 제일 먼저 시행해야 합니다.

·       프로젝트 관리를 효과적으로 수행하는 데는 3P 필요합니다.

 

 

 

 

3P

구분

설명

People(사람)

인적 자원

Problem(문제)

문제 인식

Process(프로세스)

작업 계획

 

 


Posted by codedragon codedragon

댓글을 달아 주세요



 

일반 분류기 vs 컨볼루션 신경망

컨볼루션 신경망(DL) 일반분류기와 다른 점은 특징 추출과 분류가 하나의 프로세스로 이루어집니다.

 

구분

분류 과정

일반 분류기

기존 ML 방식


 

컨볼루션 신경망

 


 

 

 

 

 

 

 

 

컨볼루션 신경망 분류 과정

컨볼루션 신경망은 입력된 이미지에서 다시 한번 특징을 추출하기 위해 마스크(필터, 윈도 또는 커널이라고도 ) 도입하는 기법입니다. 예를 들어, 입력된 이미지가 다음과 같은 값을 가지고 있다고 합시다.

1

0

1

0

0

1

1

0

0

0

1

1

0

0

1

0

 

 

여기에 2×2 마스크를 준비합니다. 칸에는 가중치가 들어있습니다. 샘플 가중치를 다음과 같이 ×1, ×0라고 하겠습니다.

 

x1

x0

x0

x1

 

 

 

 

이제 마스크를 왼쪽 위칸에 적용시켜 보겠습니다.

1x1

0x0

1

0

0x0

1x1

1

0

0

0

1

1

0

0

1

0

 

 

적용된 부분은 원래 있던 값에 가중치의 값을 곱해 줍니다. 결과를 합하면 새로 추출된 값은 2 됩니다.

(1 × 1) + (0 × 0) + (0 × 0) + (1 × 1) = 2

 

 

 

마스크를 칸씩 옮겨가서면 모두 적용하게 됩니다.

 

1x1

0x0

1

0

0x0

1x1

1

0

0

0

1

1

0

0

1

0

 

 

1

0x1

1x0

0

0

1x0

1x1

0

0

0

1

1

0

0

1

0

 

 

1

0

1x1

0x0

0

1

1x0

0x1

0

0

1

1

0

0

1

0

 

 

1

0

1

0

0x1

1x0x0

1

0

0

0x1

1

1

0

0

1

0

 

 

1

0

1

0

0

1x1

1x0

0

0

0x0

1x1

1

0

0

1

0

 

 

1

0

1

0

0

1

1x1

0x0x0

0

0

1

1x1

0

0

1

0

 

 

1

0

1

0

0

1

1

0

0x1

0x0

1

1

0x0

0x1

1

0

 

 

1

0

1

0

0

1

1

0

0

0x1

1x0

1

0

0x0

1x1

0

 

 

1

0

1

0

0

1

1

0

0

0

1x1

1x0

0

0

1x0

0x1

 

 

 

마스크를 적용하여 새로 추출된 (컨볼루션) 다음과 같습니다.

2

1

1

0

2

2

0

1

1

 

 

입력값에서 마스크를 통해 새롭게 만들어진 층을 컨볼루션(convolution; 합성곱)이라고 부릅니다.

컨볼루션을 만들면 입력 데이터로부터 더욱 정교한 특징을 추출할 있습니다. 이러한 마스크를 여러 만들 경우 여러 개의 컨볼루션이 만들어집니다.

입력값

마스크

컨볼루션

 

1

0

1

0

0

1

1

0

0

0

1

1

0

0

1

0

 

 

x1

x0

x0

x1

 

 

2

1

1

0

2

2

0

1

1

 

 

1

0

1

0

0

1

1

0

0

0

1

1

0

0

1

0

 

 

x1

x1

x0

x0

 

 

1

1

1

1

2

1

0

1

2

 

 

1

0

1

0

0

1

1

0

0

0

1

1

0

0

1

0

 

 

x0

x0

x1

x1

 

 

1

2

1

0

1

2

0

1

1

 

 

 

생성된 여러 개의 컨볼루션을 통해 보다 정밀한 분류 예측을 수행할 있습니다.

 


'Development > Big Data, R, ...' 카테고리의 다른 글

맥주와 기저귀  (0) 2019.11.11
정분류율 & 오분류율  (0) 2019.11.10
일반 분류기 vs 컨볼루션 신경망  (0) 2019.11.10
과적합(overfitting)  (0) 2019.11.09
Jitter(지터)  (0) 2019.11.09
Bayesian networks, 베이즈 네트워크  (0) 2019.11.08
Posted by codedragon codedragon

댓글을 달아 주세요



 

 

지도 API 사용 방법

지도 API 사용 방법들을 확인할 있습니다.

 

https://compas.lh.or.kr/web/lhcF090601.do


 


'Development > Python' 카테고리의 다른 글

교환 법칙과 분배 법칙  (0) 2019.11.12
예외 처리 try 구문  (0) 2019.11.11
지도 API 사용 방법  (0) 2019.11.10
실제 행렬을 사용한 곱셈의 예  (0) 2019.11.09
멤버 메서드 종류  (0) 2019.11.09
self  (0) 2019.11.08
Posted by codedragon codedragon

댓글을 달아 주세요


 

Hadoop - install for windows

 

 

 

하둡 설치파일 압축해제

압축 프로그램을 관리자 권한으로 실행합니다.

[Run as administrator]


 

 

다운받은 압축파일을 압축해제합니다.


 

 

[풀기]


 

 

CodeLab 폴더 선택 >> [확인]


 


 

 


 

 

 

 

 

 

환경변수 추가하기

 

환경변수 새로 만들기

변수 이름

HADOOP_HOME

변수

C:\CodeLab\hadoop-3.1.3

 

 


 

PATH 경로 추가하기

변수 이름

PATH

변수

%HADOOP_HOME%\bin

 

 


 

 

 

 

 

 

정상 설치 확인하기

 

hadoop -version

C:\CodeLab>hadoop -version

java version "1.8.0_65"

Java(TM) SE Runtime Environment (build 1.8.0_65-b17)

Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)

 

C:\CodeLab>

 

 

 

 

 

 

 

 

HDFS configurations

 

hadoop-env.cmd

hadoop-env.cmd 오픈합니다.

C:\CodeLab\hadoop-3.1.3\etc\hadoop

 


 


 

4개의 라인을 가장 아래에 추가합니다.

set HADOOP_PREFIX=%HADOOP_HOME%

set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop

set YARN_CONF_DIR=%HADOOP_CONF_DIR%

set PATH=%PATH%;%HADOOP_PREFIX%\bin


 

 

 

 

core-site.xml

core-site.xml 오픈합니다.

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop


 

 


 

property 태그를 추가해 줍니다.

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://0.0.0.0:19000</value>

</property>

</configuration>

 

 

 

data 폴더 생성

C:\CodeLab\hadoop-3.1.3 아래에 data 폴더를 생성합니다.

C:\CodeLab\hadoop-3.1.3

 


 

C:\CodeLab\hadoop-3.1.3\data안에 "namenode" 폴더와 "datanode" 폴더를 생성합니다.

C:\CodeLab\hadoop-3.1.3\data

 


 

 

 

 

hdfs-site.xml

hdfs-site.xml 오픈합니다.

C:\CodeLab\hadoop-3.1.3\etc\hadoop


 


 

 

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.name.dir</name>

<value>file:///C:/CodeLab/hadoop-3.1.3/data/namenode</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>file:///C:/CodeLab/hadoop-3.1.3/data/datanode</value>

</property>

</configuration>

 

 


namespace, logs and data files 저장됩니다.

 

 

 

YARN configurations

 

mapred-site.xml

mapred-site.xml파일을 오픈합니다.


 

 


 

 

 

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

 

<property>

<name>mapreduce.jobtracker.address</name>

<value>local</value>

</property>

</configuration>

 


 

 

 

yarn-site.xml

yarn-site.xml파일을 오픈합니다.

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop


 

 

 


 

 

<configuration>

 

<!-- Site specific YARN configuration properties -->

<property>

<name>yarn.server.resourcemanager.address</name>

<value>0.0.0.0:8020</value>

</property>

 

 

<property>

<name>yarn.server.resourcemanager.application.expiry.interval</name>

<value>60000</value>

</property>

 

 

<property>

<name>yarn.server.nodemanager.address</name>

<value>0.0.0.0:45454</value>

</property>

 

 

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

 

 

<property>

<name>yarn.server.nodemanager.remote-app-log-dir</name>

<value>/app-logs</value>

</property>

 

 

<property>

<name>yarn.nodemanager.log-dirs</name>

<value>/dep/logs/userlogs</value>

</property>

 

 

<property>

<name>yarn.server.mapreduce-appmanager.attempt-listener.bindAddress</name>

<value>0.0.0.0</value>

</property>

 

 

<property>

<name>yarn.server.mapreduce-appmanager.client-service.bindAddress</name>

<value>0.0.0.0</value>

</property>

 

 

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

 

 

<property>

<name>yarn.log-aggregation.retain-seconds</name>

<value>-1</value>

</property>

 

 

<property>

<name>yarn.application.classpath</name>

<value>%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/*,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*</value>

</property>

 

</configuration>

 

 


 

 

 

 

Initialize environment variables

환경변수를 설정해주는 hadoop-env.cmd 파일이 있는 위치로 이동합니다.

C:\CodeLab\hadoop-3.1.3\etc\hadoop

C:\CodeLab>cd C:\CodeLab\hadoop-3.1.3\etc\hadoop

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop>

 

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop>dir *.cmd

 Volume in drive C has no label.

 Volume Serial Number is CEC6-6B66

 

 Directory of C:\CodeLab\hadoop-3.1.3\etc\hadoop

 

10/27/2019  08:14 PM             4,154 hadoop-env.cmd

09/12/2019  01:11 PM               951 mapred-env.cmd

09/12/2019  01:06 PM             2,250 yarn-env.cmd

               3 File(s)          7,355 bytes

               0 Dir(s)  147,772,735,488 bytes free

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop>

 

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop>hadoop-env.cmd

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop>

 

 

 

Format file system 설정

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop>hadoop namenode -format

DEPRECATED: Use of this script to execute hdfs command is deprecated.

Instead use the hdfs command for it.

2019-10-27 20:46:46,750 WARN util.Shell: Did not find winutils.exe: {}

java.io.FileNotFoundException: Could not locate Hadoop executable: C:\CodeLab\hadoop-3.1.3\bin\winutils.exe -see https://wiki.apache.org/hadoop/WindowsProblems

        at org.apache.hadoop.util.Shell.getQualifiedBinInner(Shell.java:620)

        at org.apache.hadoop.util.Shell.getQualifiedBin(Shell.java:593)

        at org.apache.hadoop.util.Shell.<clinit>(Shell.java:690)

        at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:78)

        at org.apache.hadoop.hdfs.server.common.HdfsServerConstants$RollingUpgradeStartupOption.getAllOptionString(HdfsServerConstants.java:127)

        at org.apache.hadoop.hdfs.server.namenode.NameNode.<clinit>(NameNode.java:324)

2019-10-27 20:46:46,996 INFO namenode.NameNode: STARTUP_MSG:

/************************************************************

STARTUP_MSG: Starting NameNode

STARTUP_MSG:   host = CODEMASTER/xxx.xxx.xxx.xxx

STARTUP_MSG:   args = [-format]

STARTUP_MSG:   version = 3.1.3

STARTUP_MSG:   classpath = C:\CodeLab\hadoop-3.1.3\etc\hadoop;C:\CodeLab\hadoop-3.1.3\share\hadoop\common;C:\CodeLab\hadoop-3.1.3\share\hadoop\common\lib\accessors-smart-1.2.jar;C:\CodeLab\hadoop-3.1.3\share\hadoop\common\lib\animal-sniffer-annotations-1.17.jar;C:\CodeLab\hadoop-3.1.3\share\hadoop\common\lib\asm-5.0.4.jar;C:\CodeLab\hadoop-3.1.3\share\hadoop\common\lib\audience-annotations-0.5.0.jar;C:\CodeLab\hadoop-3.1.3\share\hadoop\common\lib\avro-1.7

 

... 생략

 

STARTUP_MSG:   build = https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579; compiled by 'ztang' on 2019-09-12T02:47Z

STARTUP_MSG:   java = 1.8.0_65

************************************************************/

2019-10-27 20:46:47,347 INFO namenode.NameNode: createNameNode [-format]

2019-10-27 20:46:47,779 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Formatting using clusterid: CID-2a188cb9-4f77-4c04-ba4c-1307eb61d1d5

2019-10-27 20:46:50,687 INFO namenode.FSEditLog: Edit logging is async:true

2019-10-27 20:46:51,052 INFO namenode.FSNamesystem: KeyProvider: null

2019-10-27 20:46:51,054 INFO namenode.FSNamesystem: fsLock is fair: true

2019-10-27 20:46:51,056 INFO namenode.FSNamesystem: Detailed lock hold time metrics enabled: false

2019-10-27 20:46:51,158 INFO namenode.FSNamesystem: fsOwner             = codedragon (auth:SIMPLE)

2019-10-27 20:46:51,159 INFO namenode.FSNamesystem: supergroup          = supergroup

2019-10-27 20:46:51,160 INFO namenode.FSNamesystem: isPermissionEnabled = true

2019-10-27 20:46:51,164 INFO namenode.FSNamesystem: HA Enabled: false

2019-10-27 20:46:51,236 INFO common.Util: dfs.datanode.fileio.profiling.sampling.percentage set to 0. Disabling file IO profiling

2019-10-27 20:46:51,311 INFO blockmanagement.DatanodeManager: dfs.block.invalidate.limit: configured=1000, counted=60, effected=1000

2019-10-27 20:46:51,311 INFO blockmanagement.DatanodeManager: dfs.namenode.datanode.registration.ip-hostname-check=true

2019-10-27 20:46:51,322 INFO blockmanagement.BlockManager: dfs.namenode.startup.delay.block.deletion.sec is set to 000:00:00:00.000

2019-10-27 20:46:51,323 INFO blockmanagement.BlockManager: The block deletion will start around 2019 Oct 27 20:46:51

2019-10-27 20:46:51,340 INFO util.GSet: Computing capacity for map BlocksMap

2019-10-27 20:46:51,340 INFO util.GSet: VM type       = 64-bit

2019-10-27 20:46:51,362 INFO util.GSet: 2.0% max memory 889 MB = 17.8 MB

2019-10-27 20:46:51,362 INFO util.GSet: capacity      = 2^21 = 2097152 entries

2019-10-27 20:46:51,385 INFO blockmanagement.BlockManager: dfs.block.access.token.enable = false

2019-10-27 20:46:51,394 INFO Configuration.deprecation: No unit for dfs.namenode.safemode.extension(30000) assuming MILLISECONDS

2019-10-27 20:46:51,394 INFO blockmanagement.BlockManagerSafeMode: dfs.namenode.safemode.threshold-pct = 0.9990000128746033

2019-10-27 20:46:51,394 INFO blockmanagement.BlockManagerSafeMode: dfs.namenode.safemode.min.datanodes = 0

2019-10-27 20:46:51,395 INFO blockmanagement.BlockManagerSafeMode: dfs.namenode.safemode.extension = 30000

2019-10-27 20:46:51,396 INFO blockmanagement.BlockManager: defaultReplication         = 1

2019-10-27 20:46:51,397 INFO blockmanagement.BlockManager: maxReplication             = 512

2019-10-27 20:46:51,397 INFO blockmanagement.BlockManager: minReplication             = 1

2019-10-27 20:46:51,397 INFO blockmanagement.BlockManager: maxReplicationStreams      = 2

2019-10-27 20:46:51,398 INFO blockmanagement.BlockManager: redundancyRecheckInterval  = 3000ms

2019-10-27 20:46:51,398 INFO blockmanagement.BlockManager: encryptDataTransfer        = false

2019-10-27 20:46:51,398 INFO blockmanagement.BlockManager: maxNumBlocksToLog          = 1000

2019-10-27 20:46:51,457 INFO namenode.FSDirectory: GLOBAL serial map: bits=24 maxEntries=16777215

2019-10-27 20:46:51,497 INFO util.GSet: Computing capacity for map INodeMap

2019-10-27 20:46:51,497 INFO util.GSet: VM type       = 64-bit

2019-10-27 20:46:51,498 INFO util.GSet: 1.0% max memory 889 MB = 8.9 MB

2019-10-27 20:46:51,499 INFO util.GSet: capacity      = 2^20 = 1048576 entries

2019-10-27 20:46:51,501 INFO namenode.FSDirectory: ACLs enabled? false

2019-10-27 20:46:51,501 INFO namenode.FSDirectory: POSIX ACL inheritance enabled? true

2019-10-27 20:46:51,502 INFO namenode.FSDirectory: XAttrs enabled? true

2019-10-27 20:46:51,503 INFO namenode.NameNode: Caching file names occurring more than 10 times

2019-10-27 20:46:51,512 INFO snapshot.SnapshotManager: Loaded config captureOpenFiles: false, skipCaptureAccessTimeOnlyChange: false, snapshotDiffAllowSnapRootDescendant: true, maxSnapshotLimit: 65536

2019-10-27 20:46:51,515 INFO snapshot.SnapshotManager: SkipList is disabled

2019-10-27 20:46:51,542 INFO util.GSet: Computing capacity for map cachedBlocks

2019-10-27 20:46:51,542 INFO util.GSet: VM type       = 64-bit

2019-10-27 20:46:51,543 INFO util.GSet: 0.25% max memory 889 MB = 2.2 MB

2019-10-27 20:46:51,544 INFO util.GSet: capacity      = 2^18 = 262144 entries

2019-10-27 20:46:51,559 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.window.num.buckets = 10

2019-10-27 20:46:51,559 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.num.users = 10

2019-10-27 20:46:51,560 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.windows.minutes = 1,5,25

2019-10-27 20:46:51,564 INFO namenode.FSNamesystem: Retry cache on namenode is enabled

2019-10-27 20:46:51,564 INFO namenode.FSNamesystem: Retry cache will use 0.03 of total heap and retry cache entry expiry time is 600000 millis

2019-10-27 20:46:51,567 INFO util.GSet: Computing capacity for map NameNodeRetryCache

2019-10-27 20:46:51,567 INFO util.GSet: VM type       = 64-bit

2019-10-27 20:46:51,567 INFO util.GSet: 0.029999999329447746% max memory 889 MB = 273.1 KB

2019-10-27 20:46:51,567 INFO util.GSet: capacity      = 2^15 = 32768 entries

2019-10-27 20:46:51,639 INFO namenode.FSImage: Allocated new BlockPoolId: BP-2118333937-xxx.xxx.xxx.xxx-1572176811632

2019-10-27 20:46:51,752 INFO common.Storage: Storage directory C:\CodeLab\hadoop-3.1.3\data\namenode has been successfully formatted.

2019-10-27 20:46:51,838 INFO namenode.FSImageFormatProtobuf: Saving image file C:\CodeLab\hadoop-3.1.3\data\namenode\current\fsimage.ckpt_0000000000000000000 using no compression

2019-10-27 20:46:51,993 INFO namenode.FSImageFormatProtobuf: Image file C:\CodeLab\hadoop-3.1.3\data\namenode\current\fsimage.ckpt_0000000000000000000 of size 394 bytes saved in 0 seconds .

2019-10-27 20:46:52,190 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0

2019-10-27 20:46:52,230 INFO namenode.FSImage: FSImageSaver clean checkpoint: txid = 0 when meet shutdown.

2019-10-27 20:46:52,230 INFO namenode.NameNode: SHUTDOWN_MSG:

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode at CODEMASTER/xxx.xxx.xxx.xxx

************************************************************/

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop>

HDFS configurations 기반으로한 경로가 보여집니다. (Bold처리)

 

 

 

Start HDFS daemons

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop>%HADOOP_HOME%\sbin\start-dfs.cmd

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop>

 

두개의 명령어 창이 오픈됩니다. namenode datanode 위한 것입니다.


 

[Allow access]


 

 

 

 

 

Start YARN daemons

 

 

 

%HADOOP_HOME%\sbin\start-all.cmd

C:\CodeLab\hadoop-3.1.3\etc\hadoop>%HADOOP_HOME%\sbin\start-all.cmd

This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd

starting yarn daemons

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop>

 

 

4개가 구동됩니다.

Hadoop Namenode

Hadoop datanode

YARN Resourc Manager

YARN Node Manager


 

 

Resource manager 오픈

YRAN 웹사이트를 통해 job status 있습니다.

http://localhost:8088


 

 

 

 

설정 파일 다운로드

hadoop-configurations.zip

 





Posted by codedragon codedragon

댓글을 달아 주세요