2020/02(330)
-
reduce()
reduce() · python3 부터 내장함수에서 빠져 import 후 사용해야 합니다. · {functools} 모듈의 함수 · reduce 함수는 iterable 의 요소(입력 받은 컨테이너 타입)들을 function 에 대입하여 계산한 후 하나의 결과값을 리턴해 주는 함수입니다. functools.reduce(function, iterable[, initializer])
-
Scraping을 하는 이유
Scraping을 하는 이유 · 특히 소셜 데이터 가져오기위해 · 외부로 내보내는 기능이 없는 시스템에서 데이터 가져오기위해 · 특정 사이트를 모니터링하여 새로운 정보를 탐지하기위해 · 검색엔진의 데이터베이스를 구축하기 위해 · 등
-
Web Scraping 도식도
Web Scraping 도식도 · 크롤러(Crawler)를 통해 웹 페이지를 읽어들이고 각각의 페이지를 저장소에 저장하는 과정을 거집니다. · Crawler를 통해 실행된 결과를 저장장치인 데이터베이스에 저장됩니다.
-
Web Scraping
Web Scraping · ≒ 크롤링(crawling) · ≒ 웹페이지를 대상으로 이뤄지기 때문에 웹 스크래핑 ≒ 웹 크롤링(Web Crawling) ≒ 웹스파이더링(Web Spidering) ≒ HTML 파싱(HTML Parsing)이라고 합니다. · Web에서 전문적으로 정보를 수집해주는 프로그램을 봇(로봇)이라고 합니다. · 웹사이트에서 HTML을 읽어와 필요한 데이터를 긁어오는 것을 말합니다. · 검색엔진도 웹 페이지를 스크래핑합니다. · 수집된 데이터를 통해 다양한 작업을 할 수 있습니다. https://en.wikipedia.org/wiki/Web_scraping https://en.wikipedia.org/wiki/Web_crawler
-
Response 객체의 주요 메소드
Response 객체의 주요 메소드
-
requests 패키지
requests 패키지 · HTTP 라이브러리 패키지 · requests 패키지는 HTTP GET, POST, PUT, DELETE 등을 사용할 수 있으며, 편리한 데이터 인코딩 기능을 제공하고 있습니다. · requests 패키지는 데이터를 Dictionary 타입으로 GET, POST 등을 수행하며 이때 필요한 Request 인코딩을 자동으로 처리해 줍니다. http://docs.python-requests.org/en/latest/index.html