영화 평점글 크롤링하기 - 네이버 블로그

CODEDRAGON Development/Big Data, R, ...

반응형


 

 

 

영화 평점글 크롤링하기

내용이 있는 HTML객체 요소 찾기

 

 

 

네이버 블로그

http://blog.naver.com

 

 

 

 

블로그페이지에서 "비트코인" 항목으로 검색


 

 

 

검색된 글의 있는 요소의 클래스명이 부여되어 있지 않습니다.


 

 

 

하단의 페이지에서 번호에서 마우스 우클릭 >> [링크 주소 복사]


 

 

결과물의 목록 페이지도 보이지 않게 감춰져 있습니다.

https://section.blog.naver.com/home#

 

 

 

 

 

숨겨진 페이지 요소 찾아내기

 

https://www.naver.com/

 

비트코인으로 검색 >> [블로그]


 

 

 

 

하단의 페이지 목록으로 이동한 페이지 번호에서 마우스 우클릭 >> [링크 주소 복사]


page라는 키워드가 아니라 start라는 키워드로 되어져 있으며 번호도 1 증가는 것이 아니라 10 증가하게 되어져있는 것을 확인할 있습니다.

https://search.naver.com/search.naver?date_from=&date_option=0&date_to=&dup_remove=1&nso=&post_blogurl=&post_blogurl_without=&query=%EB%B9%84%ED%8A%B8%EC%BD%94%EB%94%A9&sm=tab_pge&srchby=all&st=sim&where=post&start=1

https://search.naver.com/search.naver?date_from=&date_option=0&date_to=&dup_remove=1&nso=&post_blogurl=&post_blogurl_without=&query=%EB%B9%84%ED%8A%B8%EC%BD%94%EB%94%A9&sm=tab_pge&srchby=all&st=sim&where=post&start=11

https://search.naver.com/search.naver?date_from=&date_option=0&date_to=&dup_remove=1&nso=&post_blogurl=&post_blogurl_without=&query=%EB%B9%84%ED%8A%B8%EC%BD%94%EB%94%A9&sm=tab_pge&srchby=all&st=sim&where=post&start=21

https://search.naver.com/search.naver?date_from=&date_option=0&date_to=&dup_remove=1&nso=&post_blogurl=&post_blogurl_without=&query=%EB%B9%84%ED%8A%B8%EC%BD%94%EB%94%A9&sm=tab_pge&srchby=all&st=sim&where=post&start=31

 

 

 

 

start=뒤의 숫자를 제거한 주소를 통해 모든 결과 페이지 내용을 확인할 있습니다.

https://search.naver.com/search.naver?date_from=&date_option=0&date_to=&dup_remove=1&nso=&post_blogurl=

&post_blogurl_without=&query=%EB%B9%84%ED%8A%B8%EC%BD%94%EC%9D%B8&sm=tab_pge

&srchby=all&st=sim&where=post&start=

 

 


반응형

'Development > Big Data, R, ...' 카테고리의 다른 글

Sample file 모음  (0) 2019.05.18
facebook API 키 받기  (0) 2019.05.13
Dive into Deep Learning  (0) 2019.04.30
ㄱㄴㄷ워드클라우드  (0) 2019.04.24
ML Algorithm - 머신러닝 algorithm 자료  (0) 2019.04.19