달력

7

« 2020/7 »

  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  •  


 

 

웹 크롤링 정책

policy

description

selection policy

어떤 페이지를 다운로드할지를 정의합니다.

re-visit policy

페이지의 변화를 언제 확인할지를 정의합니다.

politeness policy

웹사이트 과부하를 어떻게 피할지를 정의합니다.

parallelization policy

분산된 웹 크롤러를 어떻게 조정할지를 정의합니다.

 

 


'Development > Python' 카테고리의 다른 글

DataFrame.drop(labels, axis)  (0) 2020.04.03
Identation를 사용한 JSON 문자열 표현  (0) 2020.03.28
웹 크롤링 정책  (0) 2020.03.23
Scraping 종류  (0) 2020.03.18
Jupyter notebook, 마크다운 셀(markdown cell)  (0) 2020.03.15
파이썬 표준 라이브러리  (0) 2020.03.12
Posted by codedragon codedragon

댓글을 달아 주세요