달력

11

« 2019/11 »

  •  
  •  
  •  
  •  
  •  
  • 1
  • 2



 

 

오분류표를 활용하여 모형을 평가하는 지표1

·         정분류율(Accuracy, recognitionrate)

·         오분류율(Error rate, misclassification rate)

 

 

 

정분류율(Accuracy, recognitionrate)

·         탐지율(맞게 검출한 비율)

·         전체 관측치중 실제값과 예측치가 일치한 정도 나타냅니다.

·         정분류율은 범주의 분포가 균형을 이룰 효과적인 평가지표입니다.

·         ex) 실제 악성/정상인지 맞게 예측한 비율

 

·         전제 중에서 올바르게 예측한 정도 의미합니다.

·         TP(True Positive) TN(True Negative) 더하여 전부의 합계로 나눈 값입니다.

·         P P N N으로 얼마나 분류하였는가?

 

 

 


 

 

 

 

 

 

 

오분류율(Error rate, misclassification rate)

·         오차비율

·         전체 값에서 오차의 값이 발생한 비율을 나타냅니다.

·         모형이 제대로 예측하지 못한 관측치 평가하는 지표입니다.

·         오분류율은 전체 관측치 실제값과 예측치가 다른 정도를 나타내며 1-accuracy 또는 다음과 같은 식으로 평가됩니다.

  

 

 


 


'Development > Big Data, R, ...' 카테고리의 다른 글

이상치(anomaly) 처리  (0) 2019.11.11
맥주와 기저귀  (0) 2019.11.11
정분류율 & 오분류율  (0) 2019.11.10
일반 분류기 vs 컨볼루션 신경망  (0) 2019.11.10
Jitter(지터)  (0) 2019.11.09
Bayesian networks, 베이즈 네트워크  (0) 2019.11.08
Posted by codedragon codedragon

댓글을 달아 주세요


 

 

제어 구조(Control structure)

·       Solidity 언어는 기존의 Javascript 언어 C 언어와 유사합니다.

·       Solidity Javascript 대부분의 control structure 거의 그대로 사용할 있습니다.

·       switch goto 기존 언어와 사용방법이 다르므로 사용에 주의를 기울여야 합니다.

·       switch goto를 제외한 나머지 if, else, while, do, for, break, continue, return 기존 언어 그대로 사용됩니다.

 



Posted by codedragon codedragon

댓글을 달아 주세요


 

 

S/W 프로젝트 계획

·       누가, 언제, 무엇을, 어떻게 것인가를 사젂에 결정하는 작업입니다.

·       소프트웨어 생명 주기 제일 먼저 시행해야 합니다.

·       프로젝트 관리를 효과적으로 수행하는 데는 3P 필요합니다.

 

 

 

 

3P

구분

설명

People(사람)

인적 자원

Problem(문제)

문제 인식

Process(프로세스)

작업 계획

 

 


Posted by codedragon codedragon

댓글을 달아 주세요



 

일반 분류기 vs 컨볼루션 신경망

컨볼루션 신경망(DL) 일반분류기와 다른 점은 특징 추출과 분류가 하나의 프로세스로 이루어집니다.

 

구분

분류 과정

일반 분류기

기존 ML 방식


 

컨볼루션 신경망

 


 

 

 

 

 

 

 

 

컨볼루션 신경망 분류 과정

컨볼루션 신경망은 입력된 이미지에서 다시 한번 특징을 추출하기 위해 마스크(필터, 윈도 또는 커널이라고도 ) 도입하는 기법입니다. 예를 들어, 입력된 이미지가 다음과 같은 값을 가지고 있다고 합시다.

1

0

1

0

0

1

1

0

0

0

1

1

0

0

1

0

 

 

여기에 2×2 마스크를 준비합니다. 칸에는 가중치가 들어있습니다. 샘플 가중치를 다음과 같이 ×1, ×0라고 하겠습니다.

 

x1

x0

x0

x1

 

 

 

 

이제 마스크를 왼쪽 위칸에 적용시켜 보겠습니다.

1x1

0x0

1

0

0x0

1x1

1

0

0

0

1

1

0

0

1

0

 

 

적용된 부분은 원래 있던 값에 가중치의 값을 곱해 줍니다. 결과를 합하면 새로 추출된 값은 2 됩니다.

(1 × 1) + (0 × 0) + (0 × 0) + (1 × 1) = 2

 

 

 

마스크를 칸씩 옮겨가서면 모두 적용하게 됩니다.

 

1x1

0x0

1

0

0x0

1x1

1

0

0

0

1

1

0

0

1

0

 

 

1

0x1

1x0

0

0

1x0

1x1

0

0

0

1

1

0

0

1

0

 

 

1

0

1x1

0x0

0

1

1x0

0x1

0

0

1

1

0

0

1

0

 

 

1

0

1

0

0x1

1x0x0

1

0

0

0x1

1

1

0

0

1

0

 

 

1

0

1

0

0

1x1

1x0

0

0

0x0

1x1

1

0

0

1

0

 

 

1

0

1

0

0

1

1x1

0x0x0

0

0

1

1x1

0

0

1

0

 

 

1

0

1

0

0

1

1

0

0x1

0x0

1

1

0x0

0x1

1

0

 

 

1

0

1

0

0

1

1

0

0

0x1

1x0

1

0

0x0

1x1

0

 

 

1

0

1

0

0

1

1

0

0

0

1x1

1x0

0

0

1x0

0x1

 

 

 

마스크를 적용하여 새로 추출된 (컨볼루션) 다음과 같습니다.

2

1

1

0

2

2

0

1

1

 

 

입력값에서 마스크를 통해 새롭게 만들어진 층을 컨볼루션(convolution; 합성곱)이라고 부릅니다.

컨볼루션을 만들면 입력 데이터로부터 더욱 정교한 특징을 추출할 있습니다. 이러한 마스크를 여러 만들 경우 여러 개의 컨볼루션이 만들어집니다.

입력값

마스크

컨볼루션

 

1

0

1

0

0

1

1

0

0

0

1

1

0

0

1

0

 

 

x1

x0

x0

x1

 

 

2

1

1

0

2

2

0

1

1

 

 

1

0

1

0

0

1

1

0

0

0

1

1

0

0

1

0

 

 

x1

x1

x0

x0

 

 

1

1

1

1

2

1

0

1

2

 

 

1

0

1

0

0

1

1

0

0

0

1

1

0

0

1

0

 

 

x0

x0

x1

x1

 

 

1

2

1

0

1

2

0

1

1

 

 

 

생성된 여러 개의 컨볼루션을 통해 보다 정밀한 분류 예측을 수행할 있습니다.

 


'Development > Big Data, R, ...' 카테고리의 다른 글

맥주와 기저귀  (0) 2019.11.11
정분류율 & 오분류율  (0) 2019.11.10
일반 분류기 vs 컨볼루션 신경망  (0) 2019.11.10
Jitter(지터)  (0) 2019.11.09
Bayesian networks, 베이즈 네트워크  (0) 2019.11.08
열 벡터(column vector)  (0) 2019.11.07
Posted by codedragon codedragon

댓글을 달아 주세요



 

 

지도 API 사용 방법

지도 API 사용 방법들을 확인할 있습니다.

 

https://compas.lh.or.kr/web/lhcF090601.do


 


'Development > Python' 카테고리의 다른 글

교환 법칙과 분배 법칙  (0) 2019.11.12
예외 처리 try 구문  (0) 2019.11.11
지도 API 사용 방법  (0) 2019.11.10
실제 행렬을 사용한 곱셈의 예  (0) 2019.11.09
멤버 메서드 종류  (0) 2019.11.09
self  (0) 2019.11.08
Posted by codedragon codedragon

댓글을 달아 주세요


 

Hadoop - install for windows

 

 

 

하둡 설치파일 압축해제

압축 프로그램을 관리자 권한으로 실행합니다.

[Run as administrator]


 

 

다운받은 압축파일을 압축해제합니다.


 

 

[풀기]


 

 

CodeLab 폴더 선택 >> [확인]


 


 

 


 

 

 

 

 

 

환경변수 추가하기

 

환경변수 새로 만들기

변수 이름

HADOOP_HOME

변수

C:\CodeLab\hadoop-3.1.3

 

 


 

PATH 경로 추가하기

변수 이름

PATH

변수

%HADOOP_HOME%\bin

 

 


 

 

 

 

 

 

정상 설치 확인하기

 

hadoop -version

C:\CodeLab>hadoop -version

java version "1.8.0_65"

Java(TM) SE Runtime Environment (build 1.8.0_65-b17)

Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)

 

C:\CodeLab>

 

 

 

 

 

 

 

 

HDFS configurations

 

hadoop-env.cmd

hadoop-env.cmd 오픈합니다.

C:\CodeLab\hadoop-3.1.3\etc\hadoop

 


 


 

4개의 라인을 가장 아래에 추가합니다.

set HADOOP_PREFIX=%HADOOP_HOME%

set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop

set YARN_CONF_DIR=%HADOOP_CONF_DIR%

set PATH=%PATH%;%HADOOP_PREFIX%\bin


 

 

 

 

core-site.xml

core-site.xml 오픈합니다.

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop


 

 


 

property 태그를 추가해 줍니다.

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://0.0.0.0:19000</value>

</property>

</configuration>

 

 

 

data 폴더 생성

C:\CodeLab\hadoop-3.1.3 아래에 data 폴더를 생성합니다.

C:\CodeLab\hadoop-3.1.3

 


 

C:\CodeLab\hadoop-3.1.3\data안에 "namenode" 폴더와 "datanode" 폴더를 생성합니다.

C:\CodeLab\hadoop-3.1.3\data

 


 

 

 

 

hdfs-site.xml

hdfs-site.xml 오픈합니다.

C:\CodeLab\hadoop-3.1.3\etc\hadoop


 


 

 

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.name.dir</name>

<value>file:///C:/CodeLab/hadoop-3.1.3/data/namenode</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>file:///C:/CodeLab/hadoop-3.1.3/data/datanode</value>

</property>

</configuration>

 

 


namespace, logs and data files 저장됩니다.

 

 

 

YARN configurations

 

mapred-site.xml

mapred-site.xml파일을 오픈합니다.


 

 


 

 

 

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

 

<property>

<name>mapreduce.jobtracker.address</name>

<value>local</value>

</property>

</configuration>

 


 

 

 

yarn-site.xml

yarn-site.xml파일을 오픈합니다.

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop


 

 

 


 

 

<configuration>

 

<!-- Site specific YARN configuration properties -->

<property>

<name>yarn.server.resourcemanager.address</name>

<value>0.0.0.0:8020</value>

</property>

 

 

<property>

<name>yarn.server.resourcemanager.application.expiry.interval</name>

<value>60000</value>

</property>

 

 

<property>

<name>yarn.server.nodemanager.address</name>

<value>0.0.0.0:45454</value>

</property>

 

 

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

 

 

<property>

<name>yarn.server.nodemanager.remote-app-log-dir</name>

<value>/app-logs</value>

</property>

 

 

<property>

<name>yarn.nodemanager.log-dirs</name>

<value>/dep/logs/userlogs</value>

</property>

 

 

<property>

<name>yarn.server.mapreduce-appmanager.attempt-listener.bindAddress</name>

<value>0.0.0.0</value>

</property>

 

 

<property>

<name>yarn.server.mapreduce-appmanager.client-service.bindAddress</name>

<value>0.0.0.0</value>

</property>

 

 

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

 

 

<property>

<name>yarn.log-aggregation.retain-seconds</name>

<value>-1</value>

</property>

 

 

<property>

<name>yarn.application.classpath</name>

<value>%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/*,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*</value>

</property>

 

</configuration>

 

 


 

 

 

 

Initialize environment variables

환경변수를 설정해주는 hadoop-env.cmd 파일이 있는 위치로 이동합니다.

C:\CodeLab\hadoop-3.1.3\etc\hadoop

C:\CodeLab>cd C:\CodeLab\hadoop-3.1.3\etc\hadoop

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop>

 

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop>dir *.cmd

 Volume in drive C has no label.

 Volume Serial Number is CEC6-6B66

 

 Directory of C:\CodeLab\hadoop-3.1.3\etc\hadoop

 

10/27/2019  08:14 PM             4,154 hadoop-env.cmd

09/12/2019  01:11 PM               951 mapred-env.cmd

09/12/2019  01:06 PM             2,250 yarn-env.cmd

               3 File(s)          7,355 bytes

               0 Dir(s)  147,772,735,488 bytes free

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop>

 

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop>hadoop-env.cmd

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop>

 

 

 

Format file system 설정

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop>hadoop namenode -format

DEPRECATED: Use of this script to execute hdfs command is deprecated.

Instead use the hdfs command for it.

2019-10-27 20:46:46,750 WARN util.Shell: Did not find winutils.exe: {}

java.io.FileNotFoundException: Could not locate Hadoop executable: C:\CodeLab\hadoop-3.1.3\bin\winutils.exe -see https://wiki.apache.org/hadoop/WindowsProblems

        at org.apache.hadoop.util.Shell.getQualifiedBinInner(Shell.java:620)

        at org.apache.hadoop.util.Shell.getQualifiedBin(Shell.java:593)

        at org.apache.hadoop.util.Shell.<clinit>(Shell.java:690)

        at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:78)

        at org.apache.hadoop.hdfs.server.common.HdfsServerConstants$RollingUpgradeStartupOption.getAllOptionString(HdfsServerConstants.java:127)

        at org.apache.hadoop.hdfs.server.namenode.NameNode.<clinit>(NameNode.java:324)

2019-10-27 20:46:46,996 INFO namenode.NameNode: STARTUP_MSG:

/************************************************************

STARTUP_MSG: Starting NameNode

STARTUP_MSG:   host = CODEMASTER/xxx.xxx.xxx.xxx

STARTUP_MSG:   args = [-format]

STARTUP_MSG:   version = 3.1.3

STARTUP_MSG:   classpath = C:\CodeLab\hadoop-3.1.3\etc\hadoop;C:\CodeLab\hadoop-3.1.3\share\hadoop\common;C:\CodeLab\hadoop-3.1.3\share\hadoop\common\lib\accessors-smart-1.2.jar;C:\CodeLab\hadoop-3.1.3\share\hadoop\common\lib\animal-sniffer-annotations-1.17.jar;C:\CodeLab\hadoop-3.1.3\share\hadoop\common\lib\asm-5.0.4.jar;C:\CodeLab\hadoop-3.1.3\share\hadoop\common\lib\audience-annotations-0.5.0.jar;C:\CodeLab\hadoop-3.1.3\share\hadoop\common\lib\avro-1.7

 

... 생략

 

STARTUP_MSG:   build = https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579; compiled by 'ztang' on 2019-09-12T02:47Z

STARTUP_MSG:   java = 1.8.0_65

************************************************************/

2019-10-27 20:46:47,347 INFO namenode.NameNode: createNameNode [-format]

2019-10-27 20:46:47,779 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Formatting using clusterid: CID-2a188cb9-4f77-4c04-ba4c-1307eb61d1d5

2019-10-27 20:46:50,687 INFO namenode.FSEditLog: Edit logging is async:true

2019-10-27 20:46:51,052 INFO namenode.FSNamesystem: KeyProvider: null

2019-10-27 20:46:51,054 INFO namenode.FSNamesystem: fsLock is fair: true

2019-10-27 20:46:51,056 INFO namenode.FSNamesystem: Detailed lock hold time metrics enabled: false

2019-10-27 20:46:51,158 INFO namenode.FSNamesystem: fsOwner             = codedragon (auth:SIMPLE)

2019-10-27 20:46:51,159 INFO namenode.FSNamesystem: supergroup          = supergroup

2019-10-27 20:46:51,160 INFO namenode.FSNamesystem: isPermissionEnabled = true

2019-10-27 20:46:51,164 INFO namenode.FSNamesystem: HA Enabled: false

2019-10-27 20:46:51,236 INFO common.Util: dfs.datanode.fileio.profiling.sampling.percentage set to 0. Disabling file IO profiling

2019-10-27 20:46:51,311 INFO blockmanagement.DatanodeManager: dfs.block.invalidate.limit: configured=1000, counted=60, effected=1000

2019-10-27 20:46:51,311 INFO blockmanagement.DatanodeManager: dfs.namenode.datanode.registration.ip-hostname-check=true

2019-10-27 20:46:51,322 INFO blockmanagement.BlockManager: dfs.namenode.startup.delay.block.deletion.sec is set to 000:00:00:00.000

2019-10-27 20:46:51,323 INFO blockmanagement.BlockManager: The block deletion will start around 2019 Oct 27 20:46:51

2019-10-27 20:46:51,340 INFO util.GSet: Computing capacity for map BlocksMap

2019-10-27 20:46:51,340 INFO util.GSet: VM type       = 64-bit

2019-10-27 20:46:51,362 INFO util.GSet: 2.0% max memory 889 MB = 17.8 MB

2019-10-27 20:46:51,362 INFO util.GSet: capacity      = 2^21 = 2097152 entries

2019-10-27 20:46:51,385 INFO blockmanagement.BlockManager: dfs.block.access.token.enable = false

2019-10-27 20:46:51,394 INFO Configuration.deprecation: No unit for dfs.namenode.safemode.extension(30000) assuming MILLISECONDS

2019-10-27 20:46:51,394 INFO blockmanagement.BlockManagerSafeMode: dfs.namenode.safemode.threshold-pct = 0.9990000128746033

2019-10-27 20:46:51,394 INFO blockmanagement.BlockManagerSafeMode: dfs.namenode.safemode.min.datanodes = 0

2019-10-27 20:46:51,395 INFO blockmanagement.BlockManagerSafeMode: dfs.namenode.safemode.extension = 30000

2019-10-27 20:46:51,396 INFO blockmanagement.BlockManager: defaultReplication         = 1

2019-10-27 20:46:51,397 INFO blockmanagement.BlockManager: maxReplication             = 512

2019-10-27 20:46:51,397 INFO blockmanagement.BlockManager: minReplication             = 1

2019-10-27 20:46:51,397 INFO blockmanagement.BlockManager: maxReplicationStreams      = 2

2019-10-27 20:46:51,398 INFO blockmanagement.BlockManager: redundancyRecheckInterval  = 3000ms

2019-10-27 20:46:51,398 INFO blockmanagement.BlockManager: encryptDataTransfer        = false

2019-10-27 20:46:51,398 INFO blockmanagement.BlockManager: maxNumBlocksToLog          = 1000

2019-10-27 20:46:51,457 INFO namenode.FSDirectory: GLOBAL serial map: bits=24 maxEntries=16777215

2019-10-27 20:46:51,497 INFO util.GSet: Computing capacity for map INodeMap

2019-10-27 20:46:51,497 INFO util.GSet: VM type       = 64-bit

2019-10-27 20:46:51,498 INFO util.GSet: 1.0% max memory 889 MB = 8.9 MB

2019-10-27 20:46:51,499 INFO util.GSet: capacity      = 2^20 = 1048576 entries

2019-10-27 20:46:51,501 INFO namenode.FSDirectory: ACLs enabled? false

2019-10-27 20:46:51,501 INFO namenode.FSDirectory: POSIX ACL inheritance enabled? true

2019-10-27 20:46:51,502 INFO namenode.FSDirectory: XAttrs enabled? true

2019-10-27 20:46:51,503 INFO namenode.NameNode: Caching file names occurring more than 10 times

2019-10-27 20:46:51,512 INFO snapshot.SnapshotManager: Loaded config captureOpenFiles: false, skipCaptureAccessTimeOnlyChange: false, snapshotDiffAllowSnapRootDescendant: true, maxSnapshotLimit: 65536

2019-10-27 20:46:51,515 INFO snapshot.SnapshotManager: SkipList is disabled

2019-10-27 20:46:51,542 INFO util.GSet: Computing capacity for map cachedBlocks

2019-10-27 20:46:51,542 INFO util.GSet: VM type       = 64-bit

2019-10-27 20:46:51,543 INFO util.GSet: 0.25% max memory 889 MB = 2.2 MB

2019-10-27 20:46:51,544 INFO util.GSet: capacity      = 2^18 = 262144 entries

2019-10-27 20:46:51,559 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.window.num.buckets = 10

2019-10-27 20:46:51,559 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.num.users = 10

2019-10-27 20:46:51,560 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.windows.minutes = 1,5,25

2019-10-27 20:46:51,564 INFO namenode.FSNamesystem: Retry cache on namenode is enabled

2019-10-27 20:46:51,564 INFO namenode.FSNamesystem: Retry cache will use 0.03 of total heap and retry cache entry expiry time is 600000 millis

2019-10-27 20:46:51,567 INFO util.GSet: Computing capacity for map NameNodeRetryCache

2019-10-27 20:46:51,567 INFO util.GSet: VM type       = 64-bit

2019-10-27 20:46:51,567 INFO util.GSet: 0.029999999329447746% max memory 889 MB = 273.1 KB

2019-10-27 20:46:51,567 INFO util.GSet: capacity      = 2^15 = 32768 entries

2019-10-27 20:46:51,639 INFO namenode.FSImage: Allocated new BlockPoolId: BP-2118333937-xxx.xxx.xxx.xxx-1572176811632

2019-10-27 20:46:51,752 INFO common.Storage: Storage directory C:\CodeLab\hadoop-3.1.3\data\namenode has been successfully formatted.

2019-10-27 20:46:51,838 INFO namenode.FSImageFormatProtobuf: Saving image file C:\CodeLab\hadoop-3.1.3\data\namenode\current\fsimage.ckpt_0000000000000000000 using no compression

2019-10-27 20:46:51,993 INFO namenode.FSImageFormatProtobuf: Image file C:\CodeLab\hadoop-3.1.3\data\namenode\current\fsimage.ckpt_0000000000000000000 of size 394 bytes saved in 0 seconds .

2019-10-27 20:46:52,190 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0

2019-10-27 20:46:52,230 INFO namenode.FSImage: FSImageSaver clean checkpoint: txid = 0 when meet shutdown.

2019-10-27 20:46:52,230 INFO namenode.NameNode: SHUTDOWN_MSG:

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode at CODEMASTER/xxx.xxx.xxx.xxx

************************************************************/

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop>

HDFS configurations 기반으로한 경로가 보여집니다. (Bold처리)

 

 

 

Start HDFS daemons

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop>%HADOOP_HOME%\sbin\start-dfs.cmd

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop>

 

두개의 명령어 창이 오픈됩니다. namenode datanode 위한 것입니다.


 

[Allow access]


 

 

 

 

 

Start YARN daemons

 

 

 

%HADOOP_HOME%\sbin\start-all.cmd

C:\CodeLab\hadoop-3.1.3\etc\hadoop>%HADOOP_HOME%\sbin\start-all.cmd

This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd

starting yarn daemons

 

C:\CodeLab\hadoop-3.1.3\etc\hadoop>

 

 

4개가 구동됩니다.

Hadoop Namenode

Hadoop datanode

YARN Resourc Manager

YARN Node Manager


 

 

Resource manager 오픈

YRAN 웹사이트를 통해 job status 있습니다.

http://localhost:8088


 

 

 

 

설정 파일 다운로드

hadoop-configurations.zip

 





Posted by codedragon codedragon

댓글을 달아 주세요



 

실제 행렬을 사용한 곱셈의 예

 

A 행렬과 B 행렬을 곱한 결과가 C 행렬이 됩니다.

 

 


'Development > Python' 카테고리의 다른 글

예외 처리 try 구문  (0) 2019.11.11
지도 API 사용 방법  (0) 2019.11.10
실제 행렬을 사용한 곱셈의 예  (0) 2019.11.09
멤버 메서드 종류  (0) 2019.11.09
self  (0) 2019.11.08
else 블록  (0) 2019.11.07
Posted by codedragon codedragon

댓글을 달아 주세요


 

 

유튜브(Youtube) 동영상 자막을 추출해주는 사이트

사용 방법은 모두 유사합니다.

 

https://www.yousubtitles.com/

https://savesubs.com/

https://downsub.com/

 

 

 


 

 

해당 언어의 SRT TXT 버튼을 클릭하여 다운로드 하면됩니다.


 

 

 

 

영어 자막만 있으며 다른 언어의 자막이 없으며

"Or translate from English to:" 통해 Engish 통해 번역된 나라별 자막을 다운 받을 있습니다.

 

 

 

다운받은 자막 파일


 


Posted by codedragon codedragon

댓글을 달아 주세요



 

 

Jitter(지터)

·         데이터 값에 약간의 노이즈(noise) 추가하는 방법을 말합니다.

·         노이즈를 추가하면 데이터 값이 조금씩 움직여서 같은 값을 가지는 데이터가 그래프에 여러 겹쳐서 표시되는 현상을 막아줍니다.

 


'Development > Big Data, R, ...' 카테고리의 다른 글

정분류율 & 오분류율  (0) 2019.11.10
일반 분류기 vs 컨볼루션 신경망  (0) 2019.11.10
Jitter(지터)  (0) 2019.11.09
Bayesian networks, 베이즈 네트워크  (0) 2019.11.08
열 벡터(column vector)  (0) 2019.11.07
대각 & 비대각  (0) 2019.11.06
Posted by codedragon codedragon

댓글을 달아 주세요



 

 

Physical Computing(피지컬 컴퓨팅)

·         프로그램이나 센서 등을 이용해 컴퓨터가 인간의 감각 역할을 하거나 그에 반응하도록 하는 것입니다.

·         기존의 키보드나 마우스와 같은 입력 방법 대신 센서를 이용해 소리, 동작, , 물리적인 방법으로 정보를 입력받고 표현하게됩니다.

·         미국을 중심으로 활발히 연구되고 있으며 뉴욕의 고교에서도 활용되고 있으며 학생과 교사들에게 좋은 반응을 얻고 있는 융합수업의 도구입니다.

·         아두이노와 소프트웨어 프로그램을 이용해서 다양한 예술작품을 만드는

·         H/W S/W 이용해 상호작용 가능한 예술작품을 만드는 것입니다.

 

 

https://en.wikipedia.org/wiki/Physical_computing

https://bit.ly/2Xoynr0

 

 

 

 


Posted by codedragon codedragon

댓글을 달아 주세요