Windows 平台:
我的系统是 Win7,首先,你要有Python,我用的是2.7.7版本,Python3相仿,只是一些源文件不同。 官网文档:http://doc.scrapy.org/en/latest/intro/install.html,最权威哒,下面是我的亲身体验过程。 1.安装Python 安装过程我就不多说啦,我的电脑中已经安装了 Python 2.7.7 版本啦,安装完之后记得配置环境变量,比如我的安装在D盘,D:\python2.7.7,就把以下两个路径添加到Path变量中|
1
|
D:\python2.7.7;D:\python2.7.7\Scripts
|
2.安装pywin32
在windows下,必须安装pywin32,安装地址:http://sourceforge.net/projects/pywin32/
下载对应版本的pywin32,直接双击安装即可,安装完毕之后验证:

在python命令行下输入
import win32com
如果没有提示错误,则证明安装成功
3.安装pip
pip是用来安装其他必要包的工具,首先下载 get-pip.py
下载好之后,选中该文件所在路径,执行下面的命令
|
1
|
python get-pip.py
|
|
1
|
pip --version
|

4.安装pyOPENSSL
在Windows下,是没有预装pyOPENSSL的,而在Linux下是已经安装好的。
安装地址:https://launchpad.net/pyopenssl
5.安装 lxml
lxml的详细介绍 点我 ,是一种使用 Python 编写的库,可以迅速、灵活地处理 XML
直接执行如下命令
|
1
|
pip install lxml
|
|
1
|
pip install Scrapy
|

pip 会另外下载其他依赖的包,这些就不要我们手动安装啦,等待一会,大功告成!
7.验证安装
输入 Scrapy
如果提示如下命令,就证明安装成功啦,如果失败了,请检查上述步骤有何疏漏。

Linux Ubuntu 平台:
Linux 下安装非常简单,只需要执行几条命令几个 1.安装Python|
1
|
sudo apt-get install python2.7 python2.7-dev
|
|
1
|
sudo python get-pip.py
|
|
1
|
sudo pip install lxml
|
|
1
|
Requirement already satisfied (use --upgrade to upgrade): lxml in /usr/lib/python2.7/dist-packages
|
|
1
|
sudo pip install Scrapy
|
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
Usage:
scrapy <command> [options] [args]
Available commands:
bench Run quick benchmark test
fetch Fetch a URL using the Scrapy downloader
runspider Run a self-contained spider (without creating a project)
settings Get settings values
shell Interactive scraping console
startproject Create new project
version Print Scrapy version
view Open URL in browser, as seen by Scrapy
[ more ] More commands available when run from project directory
|

