달력

1

« 2021/1 »

  •  
  •  
  •  
  •  
  •  
  • 1
  • 2
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  •  
  •  
  •  
  •  
  •  
  •  
반응형


 

 

웹 크롤링 정책

policy

description

selection policy

어떤 페이지를 다운로드할지를 정의합니다.

re-visit policy

페이지의 변화를 언제 확인할지를 정의합니다.

politeness policy

웹사이트 과부하를 어떻게 피할지를 정의합니다.

parallelization policy

분산된 웹 크롤러를 어떻게 조정할지를 정의합니다.

 

 


반응형

'Development > Python' 카테고리의 다른 글

DataFrame.drop(labels, axis)  (0) 2020.04.03
Identation를 사용한 JSON 문자열 표현  (0) 2020.03.28
웹 크롤링 정책  (0) 2020.03.23
Scraping 종류  (0) 2020.03.18
Jupyter notebook, 마크다운 셀(markdown cell)  (0) 2020.03.15
파이썬 표준 라이브러리  (0) 2020.03.12
Posted by codedragon codedragon

댓글을 달아 주세요