[python] scrapy with form-data

scrapy: Web Crawling Framework

beautifulsoup과 비교해보자면, beautifulsoup은 parseing library인 반면

scrapy는 더 강한 abstraction을 제공하는 framework이다

scrapy.Request(url=URL, callback=self.parse, method=METHOD, body=BODY, meta=META)

기본적인 사용방법은 위와 같은데 body에 form-data를 전송할 경우

FormRequest를 사용해야한다.

scrapy.FormRequest(..., formdata=FORM_DATA, ...)

request의 body(data)는 form-data, json, wav 등 여러가지 타입이 될 수 있다

request는 이 타입을 header 중 Content-Type field에 명시해야한다

scrapy에서는 FormRequest 클래스를 통해 이러한 수고를 덜어준다

Request 클래스는 Content-Type 헤더가 명시되어 있지 않으므로, server에서 body data를 form-data 타입으로 인식하지 못한다