首先scrapy的安装之前需要安装这个模块:wheel、lxml、Twisted、pywin32,最后在安装scrap pip3 install wheel pip3 install lxml pip3 install Twisted pip3 install pywin32 pip3 install scrap
安装scrap报错:
building 'twisted.test.raiser' extension error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools
解决方法:
http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件(如我的Twisted‑17.5.0‑cp36‑cp36m‑win_amd64.whl),cp后面是python版本,amd64代表64位,运行命令:
pip3 install C:\Users\CR\Downloads\Twisted-17.5.0-cp36-cp36m-win_amd64.whl
cmd,输入scrapy,查看信息,有信息就肯定成功了
创建scrapy项目
scrapy startproject 项目名
创建爬虫
cd 项目 scrapy genspider 爬虫名 域名 #创建完以后会在spiders目录下生成爬虫文件
启动爬虫
scrapy crawl 爬虫名 --nolog