[python] 유용한 scrapy command

scrapy startproject <project-name>

프로젝트 생성

scrapy crawl <spider-name>

스파이더 실행

scrapy shell <url>

scrapy object들(request/response/crawler/spider)을 interpreter에서 다뤄볼 수 있다

xpath도 테스트 해볼수 있다

https://doc.scrapy.org/en/latest/topics/shell.html#configuring-the-shell

shell 커맨드 사용시, ipython이 설치되어 있다면 ipython이 실행될 것이다

scrapy view <url>

JS 등이 실행되기 전, 즉 크롤러에서 받게되는 html 문서를 확인가능