scrapy는 동시에 여러 request를 보낸다
settings.py에서 CONCURRENT_REQUESTS 값을 통해 그 최대치를 조절할 수 있다
기본값은 16개이다
scrapy는 Twisted를 기반으로 한다
Twisted의 description은 아래와 같다
python-written Event-driven Network Programming Framework, which is single-thread
single-thread이지만 async로 동작하므로 (node.js처럼) 한번에 하나의 request만 전송하지 않는 것이다
'Language > python' 카테고리의 다른 글
| [python] elasticsearch-py max_tries (0) | 2018.03.30 |
|---|---|
| [python] 유용한 scrapy command (0) | 2018.03.29 |
| [python] win32api ImportError (0) | 2018.03.26 |
| [python] windows pip Twisted install error (0) | 2018.03.23 |
| [python] scrapy with form-data (0) | 2018.03.23 |
WRITTEN BY
- hojongs
블로그 옮겼습니다 https://hojongs.github.io/