준우의 오류노트

잔재미코딩님의 강의를 보며 scrapy 튜토리얼을 배워나가고 있다. 기본적인 흐름은 다음과 같다. 1. scrapy startproject [projectname] 으로 새 프로젝트 폴더를 생성한다. 2. scrapy genspider [filename] [domain] 으로 사이트 주소를 start url로 가지는 파일을 생성한다. 2-1. 크롤링하려는 사이트를 scrapy shell 을 통해 크롤러 코드 제작 전에 미리 실험해 볼 수 있다. # -*- coding: utf-8 -*- import scrapy class HelloSpider(scrapy.Spider): name = 'hello' allowed_domains = ['www.naver.com'] start_urls = ['http://ww..

1 2 3 4 5 #페이지 소싱 문제인 부분 : div클래스의 score_result로 검색해도 값이 반환되지 않는다. html = driver.page_source soup = BeautifulSoup(html, 'html.parser') reple_result = soup.find('div', class_='score_result').find('ul') slist = reple_result.find_all('li') 네이버 영화 댓글 크롤러 제작 중 리뷰 파트를 F12키를 눌러에 있는 것을 확인하고 BeautifulSoup 으로 파싱했으나 찾지 못한다. 네티즌 리뷰는 건너뛰고 엉뚱하게 평론가 리뷰 내용만 뽑아낸다. 왜 그런가 하이 살펴보자. 더 상위 태그인 에 이란 태그가 있어 눌러봤다. 이런 다른 ..