scrapy 튜토리얼을 끝냈으니 wiki 크롤러를 한 번 제작해보려했다. 마드리드 거리를 구역 카테고리로 나눈 위키 페이지를 목표로 했다. 각 구역의 모든 거리의 이름과 내용을 모두 긁어오려 한다. class WikicrawlerSpider(scrapy.Spider): name = 'wikicrawler' def start_requests(self): yield scrapy.Request(url='https://es.wikipedia.org/wiki/Categor%C3%ADa:Calles_del_distrito_Centro', callback=self.parse_barrio) def parse_barrio(self, response): barrio_links1 = response.css('div.mw-c..
1 2 3 4 5 #페이지 소싱 문제인 부분 : div클래스의 score_result로 검색해도 값이 반환되지 않는다. html = driver.page_source soup = BeautifulSoup(html, 'html.parser') reple_result = soup.find('div', class_='score_result').find('ul') slist = reple_result.find_all('li') 네이버 영화 댓글 크롤러 제작 중 리뷰 파트를 F12키를 눌러에 있는 것을 확인하고 BeautifulSoup 으로 파싱했으나 찾지 못한다. 네티즌 리뷰는 건너뛰고 엉뚱하게 평론가 리뷰 내용만 뽑아낸다. 왜 그런가 하이 살펴보자. 더 상위 태그인 에 이란 태그가 있어 눌러봤다. 이런 다른 ..
- Total
- Today
- Yesterday
- error
- scrapy
- NLP
- coding
- 마드리드
- 글쓰기
- Selenium
- 일기
- nltk
- Crawling
- 블로그
- 유튜버
- 유럽
- flask
- 리뷰
- DATABASE
- 스페인
- css
- 저널
- python
- 런업
- HTML
- 파이썬
- 오류
- 이슈
- 유튜브
- BeautifulSoup
- 코로나
- 분석
- 항공
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |