python scrapy 한글 인코딩

python scrapy를 통해 사이트를 크롤링 하여 json으로 저장하는데 인코딩 문제가 발생했다

원인은 python json 라이브러리의 ensure_ascii=True 옵션

project의 settings.py 파일에 아래 라인을 추가하여 해결하였다

FEED_EXPORT_ENCODING = 'utf-8'

---

인코딩 결과를 확인하려면 vim과 terminal(ssh client)의 인코딩도 싱크해야한다

cat >> ~/.vimrc

set enc=utf-8

terminal의 인코딩도 utf-8로 설정