Windows7（32位）安装爬虫利器Scrapy小结

Windows7（32位）安装爬虫利器Scrapy小结

安装环境说明

我家中笔记本的环境非常简单：

• Windows 7旗舰版32位（非SP1）
• Python 3.4.4（非SP1的WIN7下无法安装版本3.5+）

  Scrapy安装

  Scrapy重度依赖于lxml和twisted两个框架。这也正是问题所在。开源环境下工具的安装往往需要我们事先确定要安装的工具库依赖于哪些第三方库及其相关的依赖。如果有一个依赖安装要求满足不了，则安装失败。因此，安装前要做好必要的调查分析。

  试验安装Scrapy失败

  最开始时，我在DOS命令行下使用如下命令安装，但是失败了：
  pip install scrapy

运行上述命令时，pip会默认从https://files.pythonhosted.org网站上下载并安装最新版本的scrapy库，当然它会自动分析当前系统中已经安装的python版本。尽管如此，其所依赖的其他第三方库并不会作严格检查，结果会导致整个安装仅查最后的百分之几却是以失败结果而告终。

安装lxml

绝大多数网站上推荐的Lxml安装思路是从Python第三方库的网站http://www.lfd.uci.edu/~gohlke/pythonlibs/上下载编译好的.whl压缩文件，如下图：

但是，很遗憾，当我现在跳转到此网站找Python 3.4对应版本的.WHL文件时，早已不存在了。但是，以它提供的合适的文件作参考lxml-3.7.3-cp34-cp34m-win32.whl，我再次从网络上搜索，最终从开源网站github（https://github.com/Lucterios2/core/blob/master/packages/lxml-3.4.4-cp34-none-win32.whl）上找到一个文件lxml-3.4.4-cp34-none-win32.whl。

下载没有问题，安装前需要先安装wheel，也很容易，最后安装成功！

twisted不需要单独专门安装

成功安装Scrapy

值得庆幸的是，Scrapy当前最新版本也正是1.7.3，我从网络上搜索到的文件名是Scrapy-1.7.3-py2.py3-none-any.whl。

下载地址也很经典，是https://pypi.org/project/Scrapy/#files

下载容易，安装也非常简单，成功安装！
而没有直接使用命令pip install scrapy安装。

小结

安装过程中经历的挫折很多很多，尽管没有细述，但是经验却已经写了最前面。希望有兴趣的读者在行动前先要做到心中有数，而不是盲目地跟着某些文章中介绍的那样上来就直接安装，这样的话，很可能会导致安装了一些半成品——甚至算是垃圾，给自己的清理后的重新安装都带来很多麻烦！