robots.txt

 

 

 

robots.txt

·         robots.txt에는 크롤러가 봐도 되는 것과 보면 안되는 목록을 제공해 줍니다.

·         robots.txt 파일은 User-agent와 Disallow로 구성되어 있습니다.

·         http://www.codedragon.org/robots.txt 파일이 있으면 구글 검색 엔진은 robots.txt에 있는 디렉토리는 검색하지 않습니다.

·         크롤링을 막는 것이 아니라 크롤링시 해당 내용을 참고해서 하지 말라고 하는 것입니다.

 

https://en.wikipedia.org/wiki/Robots_exclusion_standard

https://en.wikipedia.org/wiki/Spider_trap