一个简单的爬虫—电影天堂爬虫

电影天堂是一个下载站，里面有很多经典的电影下载链接，这些链接都可以使用迅雷来下载，今天就来爬一遍这个站，将感兴趣的保存起来。

安装并创建 scrapy 项目

首先要安装好 scrapy, 见 Python 爬虫进阶三之 Scrapy 框架安装配置
安装好之后，创建一个新的 scrapy 项目。使用命令：

scrapy startproject dmoz

最后的 dmoz 是本项目的名字，可以随意命名。

找到或创建爬虫代码文件

项目创建好之后，进入找到一个叫 spiders 的文件夹，在这个文件夹里面可以找到一个名字中包含 spider 的 py 文件，或者自己创建一个放进去也可以，这个 py 文件，就是爬虫的代码文件，这个里面规定了这个爬虫要怎么去爬去网络的数据，以及如何保存爬去到的东西。

编写爬虫代码

from scrapy.spider import BaseSpider
class DmozSpider(BaseSpider):
    name = "dmoz"
    allowed_domains = ["www.dytt8.net"]
    start_urls = [
	"http://www.dytt8.net/plus/sitemap.html"
	]
    def parse(self, response):

name 属性很重要，不同 spider 不能使用相同的 name
start_urls 是 spider 抓取网页的起始点，可以包括多个 url，用逗号隔开
parse 方法是 spider 抓到一个网页以后默认调用的 callback，避免使用这个名字来定义自己的方法。
当 spider 拿到 url 的内容以后，会调用 parse 方法，并且传递一个 response 参数给它，response 包含了抓到的网页的内容，在 parse 方法里，你可以从抓到的网页里面解析数据。上面的代码只是简单地把网页内容保存到文件。

在本例中，parse 中获得网页的内容之后，解析内容，获得网页中的包含下载链接的内容，保存起来即可。
那么要如何解析获得内容呢？
scrapy 提供了方便的办法从网页中解析数据，这需要使用到 HtmlXPathSelector

        hx = HtmlXPathSelector(response);
        title = hx.xpath("//title/text()").extract()
        sites = hx.xpath('//*[@id="Zoom"]//table//td')
        text = title
        try:
            textStr = str(text[0])
        except Exception as e:
            textStr = ""
        urlData = str(response.url)

在这段代码里，我从网页中获得了标签为 title 的文本内容并赋值到 title 变量里面
又从网页中寻找 id 为 Zoom 的标签，从这个标签里面获得所有的 table，从这些 table 中找 td，将这些 td 都放到了 sites 里面
然后我将这个网页的地址通过 response.url 获得之后转化为字符串放到 urlData 里面
这个时候我已经获得了这个网页里面大部分我需要的东西
然后我只要循环 sites 来获得每个 td 里面的内容以及地址就可以了

for sel in sites:
                urltext = [t.encode("utf-8") for t in sel.xpath('a/text()').extract()]
                url = [u.encode("utf-8") for u in sel.xpath('a/@href').extract()]
                # text = [d.encode("utf-8") for d in title]
 
                try:
                    urlStr = str(url[0])
                except Exception as e:
                    urlStr = ""
 
                try:
                    urlTextStr = str(urltext[0])
                except Exception as e:
                    urlTextStr=""

urltest 是文字，url 是下载地址
之后将这写东西保存就可以了，可以写入到本地文件中，也可以连接到数据库直接保存到数据库里面
还有很重要的一点，那就是在爬取的时候在页面中找到的链接都要添加到待爬取列表中，否则只爬取一个页面就断了可不是我们的本意

        hrefs = hx.xpath("//a/@href")
        for href in hrefs:
            if href.extract().find('http')==0:
                url = href.extract()
            else:
                url = urlparse.urljoin(response.url, href.extract())
            yield Request(url, callback=self.parse_dir_contents)

这段代码里面首先从网页中找到了所有的 a 标签，然后获得了 a 标签的 href。
判断这个 href 里面是否包含 http，如果不包含，可能是一个相对地址，也可能是一段 js，如果是相对地址，那么就需要补全这个地址，如果不是而是一段 js，那加上也没什么问题，最多就是访问不通（最好是加上判断，我这里没有加），然后去这个地址去请求就可以了，之后会一层一层递归，回到最开始，这个遍历的过程就完成了。
注：scrapy 会自动判断这个地址是否已经访问过，不用我们去记录

代码

#!/usr/bin/python  
# -*- coding:utf-8 -*-  
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from pengpai.items import PengpaiItem
import urlparse
from scrapy.http import Request
import sys
import codecs
import MySQLdb
import datetime
 
class DmozSpider(BaseSpider):
    name = "dmoz"
    allowed_domains = ["www.dytt8.net"]
    start_urls = [
	"http://www.dytt8.net/plus/sitemap.html"
	]
    def toSql(self,dataStr):
        resultId = -1
        db = MySQLdb.connect("dburl","zhanghao","mima","dbname")
        cursor = db.cursor()
        cursor.execute("SET NAMES utf8")
        cursor.execute("SELECT VERSION()")
        try:
            cursor.execute(dataStr)
            resultId = int(db.insert_id())
            db.commit()
        except:
            db.rollback()
        db.close()
        return resultId
    def parse(self, response):
        reload(sys)
        sys.setdefaultencoding('utf-8')
        hx = HtmlXPathSelector(response)
        hrefs = hx.xpath("//a/@href")
        for href in hrefs:
            if href.extract().find('http')==0:
                url = href.extract()
            else:
                url = urlparse.urljoin(response.url, href.extract())
            yield Request(url, callback=self.parse_dir_contents)
        # file_object.close( )
 
    def parse_dir_contents(self, response):
        hx = HtmlXPathSelector(response);
        title = hx.xpath("//title/text()").extract()
        sites = hx.xpath('//*[@id="Zoom"]//table//td')
        text = title
        try:
            textStr = str(text[0])
        except Exception as e:
            textStr = ""
        urlData = str(response.url)
        resultfile = codecs.open('result.txt','a',"utf-8")
        if(len(sites)>0):
            print(str(len(sites))+"=="+str(response.url))
            #INSERT into movie_name (movie_name.`name`,movie_name.url,movie_name.count) SELECT 'name','http','3' from DUAl WHERE NOT EXISTS (SELECT 1 from movie_name WHERE movie_name.url = 'http' and movie_name.count='3')
            movie_name = "INSERT into movie_name (movie_name.`name`,movie_name.url,movie_name.count) SELECT '"+textStr+"','"+urlData+"','"+str(len(sites))+"' from DUAl WHERE NOT EXISTS (SELECT 1 from movie_name WHERE movie_name.url = '"+urlData+"' and movie_name.count='"+str(len(sites))+"')LIMIT 1;"
            # file_object = codecs.open('thefile.txt', 'a',"utf-8")
            resultIDBack = self.toSql(movie_name)
            resultfile.write(movie_name)
            resultfile.write('\n')
            for sel in sites:
                urltext = [t.encode("utf-8") for t in sel.xpath('a/text()').extract()]
                url = [u.encode("utf-8") for u in sel.xpath('a/@href').extract()]
                # text = [d.encode("utf-8") for d in title]
 
                try:
                    urlStr = str(url[0])
                except Exception as e:
                    urlStr = ""
 
                try:
                    urlTextStr = str(urltext[0])
                except Exception as e:
                    urlTextStr=""
 
                
                dt=datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
                #data = "insert into movie (movie.`name`,movie.url,movie.urltext,movie.`from`) values (\""+textStr+"\",\""+urlStr+"\",\""+urlTextStr+"\",\""+urlData+"\");"
                #INSERT INTO movie_data (movie_data.nameId,movie_data.url,movie_data.urltext,movie_data.`from`,movie_data.updateTime) SELECT '1','dizhi','wenzi','laiyuan',NOW() FROM DUAL WHERE NOT EXISTS(SELECT 1 from movie_data WHERE movie_data.`from` = 'laiyuan' and movie_data.url = 'dizhi' AND movie_data.urltext = 'wenzi') LIMIT 1;
                #INSERT INTO movie (	movie.`name`,movie.url,movie.urltext,movie.`from`,updateTime) SELECT '"+textStr+"', '"+urlStr+"', '"+urlTextStr+"', '"+urlData+"', '"+dt+"' FROM DUAL WHERE NOT EXISTS ( SELECT 1 FROM movie WHERE movie.url = '"+urlStr+"' AND movie.`from` = '"+urlData+"')LIMIT	1;
                data = "INSERT INTO movie_data (movie_data.nameId,movie_data.url,movie_data.urltext,movie_data.`from`,movie_data.updateTime) SELECT '"+str(resultIDBack)+"','"+urlStr+"','"+urlTextStr+"','"+urlData+"','"+dt+"' FROM DUAL WHERE NOT EXISTS(SELECT 1 from movie_data WHERE movie_data.`from` = '"+urlData+"' and movie_data.url = '"+urlStr+"' AND movie_data.urltext = '"+urlTextStr+"') LIMIT 1;"
                # file_object.write("["+str(text[0])+"] 已添加..")
                # file_object.write('\n')
                resultfile.write(data)
                resultfile.write('\n')
                #print(data)
                self.toSql(data)
        hrefs = hx.xpath("//a/@href")
        for href in hrefs:
            if href.extract().find('http')==0:
                url = href.extract()
            else:
                url = urlparse.urljoin(response.url, href.extract())
            yield Request(url, callback=self.parse_dir_contents)
        resultfile.close( )
        # file_object.close( )