어쩌다 경기지역화폐 크롤러 제작에서 마주친 오류 : scrapy 실패기
사건의 발단 : 친구가 경기지역화폐 어쩌구 공모전에 지원하기 위해 경기지역화폐 사이트에서 가맹점 리스트를 크롤링을 부탁함 사건의 전개 : 1. 경기지역화폐의 사이트에 들어가서 html 구조를 보니 복잡하지 않아서 1~2시간이면 내 실력에 충분히 할 수 있다고 판단. 2. 그 전날 tutorial을 따라해본 scrapy로 해보자고 결심. 2-1. scrapy shell 에서 가맹점 타이틀/카테고리/주소/번호를 따 봄 2-2. 붙어서 마구마구 코드를 짜기 시작 실제 코드가 아니라 예시입니당 for 페이지 in 페이지리스트: html을 따고 스크래파이 리스폰스를 받고 'table tbody'로 테이블을 받고 다시 for 행 in 'table tbody'테이블리스트: 행.title 행.address 행... 2..
코드
2019. 10. 10. 13:01
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- 유튜브
- 코로나
- 스페인
- 일기
- 블로그
- error
- 리뷰
- css
- 파이썬
- flask
- 유튜버
- 분석
- HTML
- NLP
- coding
- 마드리드
- Selenium
- nltk
- 항공
- 저널
- Crawling
- 오류
- 이슈
- scrapy
- 글쓰기
- 런업
- 유럽
- BeautifulSoup
- DATABASE
- python
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | |||||
| 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 |
| 17 | 18 | 19 | 20 | 21 | 22 | 23 |
| 24 | 25 | 26 | 27 | 28 | 29 | 30 |
글 보관함