robots.txt

CODEDRAGON TechMaster/Google

반응형


 

 

 

robots.txt

·         robots.txt에는 크롤러가 봐도 되는 것과 보면 안되는 목록을 제공해 줍니다.

·         robots.txt 파일은 User-agent Disallow 구성되어 있습니다.

·         http://www.codedragon.org/robots.txt 파일이 있으면 구글 검색 엔진은 robots.txt 있는 디렉토리는 검색하지 않습니다.

·         크롤링을 막는 것이 아니라 크롤링시 해당 내용을 참고해서 하지 말라고 하는 것입니다.

 

https://en.wikipedia.org/wiki/Robots_exclusion_standard

https://en.wikipedia.org/wiki/Spider_trap

 

 

 

 


반응형

'TechMaster > Google' 카테고리의 다른 글

chrome - Dino Runner, Running Mario  (0) 2018.09.26
Google image 검색  (0) 2018.09.21
Wappalyzer - Chrome 확장 프로그램  (0) 2018.05.20
Tampermonkey, Tampermonkey 사용 방법  (0) 2018.04.11
Tampermonkey 스크립트 설치하기  (0) 2018.03.11