首先scrapy的安装之前需要安装这个模块:wheel、lxml、Twisted、pywin32,最后在安装scrap
pip3 install wheel
pip3 install lxml
pip3 install Twisted
pip3 install pywin32
pip3 install scrap

安装scrap报错:

building 'twisted.test.raiser' extension
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

解决方法:

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件(如我的Twisted‑17.5.0‑cp36‑cp36m‑win_amd64.whl),cp后面是python版本,amd64代表64位,运行命令:

pip3 install C:\Users\CR\Downloads\Twisted-17.5.0-cp36-cp36m-win_amd64.whl

cmd,输入scrapy,查看信息,有信息就肯定成功了

创建scrapy项目

scrapy startproject 项目名

创建爬虫

cd 项目
scrapy genspider 爬虫名 域名
#创建完以后会在spiders目录下生成爬虫文件

启动爬虫

scrapy crawl 爬虫名 --nolog