zipfile 모듈파일 압축 및 압축 해제기능을 제공하는 파이썬 내장 모듈입니다. https://docs.python.org/3/library/zipfile.html mode 설명 mode='w' zip파일을 새로 만듭니다. 기존에 파일 존재하면 모든 내용을 지우고 새로 만들어집니다. mode='a' 기존에 파일 존재하면 기존의 내용에 추가되어 집니다. zf.namelist() zip파일 안에 있는 모든 파일 리스트를 가져옵니다. zfi = zf.getinfo(filename) zip 파일 안의 정보를 가진 ZipInfo 객체를 반환합니다.

os · 파이썬에서 제공하는 내장 모듈입니다. · 운영 체제와 관련된 다양한 메소드들을 제공합니다.

reduce() · python3 부터 내장함수에서 빠져 import 후 사용해야 합니다. · {functools} 모듈의 함수 · reduce 함수는 iterable 의 요소(입력 받은 컨테이너 타입)들을 function 에 대입하여 계산한 후 하나의 결과값을 리턴해 주는 함수입니다. functools.reduce(function, iterable[, initializer])

Scraping을 하는 이유 · 특히 소셜 데이터 가져오기위해 · 외부로 내보내는 기능이 없는 시스템에서 데이터 가져오기위해 · 특정 사이트를 모니터링하여 새로운 정보를 탐지하기위해 · 검색엔진의 데이터베이스를 구축하기 위해 · 등

Web Scraping 도식도 · 크롤러(Crawler)를 통해 웹 페이지를 읽어들이고 각각의 페이지를 저장소에 저장하는 과정을 거집니다. · Crawler를 통해 실행된 결과를 저장장치인 데이터베이스에 저장됩니다.

Web Scraping · ≒ 크롤링(crawling) · ≒ 웹페이지를 대상으로 이뤄지기 때문에 웹 스크래핑 ≒ 웹 크롤링(Web Crawling) ≒ 웹스파이더링(Web Spidering) ≒ HTML 파싱(HTML Parsing)이라고 합니다. · Web에서 전문적으로 정보를 수집해주는 프로그램을 봇(로봇)이라고 합니다. · 웹사이트에서 HTML을 읽어와 필요한 데이터를 긁어오는 것을 말합니다. · 검색엔진도 웹 페이지를 스크래핑합니다. · 수집된 데이터를 통해 다양한 작업을 할 수 있습니다. https://en.wikipedia.org/wiki/Web_scraping https://en.wikipedia.org/wiki/Web_crawler