웹 크롤링 정책
CODEDRAGON ㆍDevelopment/Python
반응형
웹 크롤링 정책
|
policy |
description |
|
selection policy |
어떤 페이지를 다운로드할지를 정의합니다. |
|
re-visit policy |
페이지의 변화를 언제 확인할지를 정의합니다. |
|
politeness policy |
웹사이트 과부하를 어떻게 피할지를 정의합니다. |
|
parallelization policy |
분산된 웹 크롤러를 어떻게 조정할지를 정의합니다. |
반응형
'Development > Python' 카테고리의 다른 글
| DataFrame.drop(labels, axis) (0) | 2020.04.03 |
|---|---|
| Identation를 사용한 JSON 문자열 표현 (0) | 2020.03.28 |
| Scraping 종류 (0) | 2020.03.18 |
| Jupyter notebook, 마크다운 셀(markdown cell) (0) | 2020.03.15 |
| 파이썬 표준 라이브러리 (0) | 2020.03.12 |