从零开始基于Scrapy框架的网路爬虫开发流程

　　前节介绍了哪些网路爬虫，什么是Scrapy框架并怎样安装

　　本节介绍基于Scrapy框架的网路爬虫开发流程

　　安装好Scrapy框架后，就可以基于Scrapy框架开发爬虫项目了。基于框架开发项目，不需要从零开始编撰代码，只须要把握怎样使用框架，如何添加与自己应用相关的代码即可。

　　进入准备新建爬虫项目的路径中，使用命令：

　　scrapy startproject project_name

　　请用爬虫项目名称替换命令中的project_name爬虫软件开发，例如，本文准备创建一个爬取新浪网的爬虫，取名为sina_spider，则新建爬虫项目的命令为：

　　scrapy startproject sina_spider

　　命令运行结果，如下图所示。

　　新建爬虫项目

　　“scrapy startproject sina_spider”命令会创建包含下述内容的sina_spider目录，如图13-5所示。

　　爬虫文件夹结构

　　新建好Scrapy爬虫项目后，接下来就是创建爬虫文件。请先步入sina_spider项目路径，用命令：

　　scrapy genspider spider_filename(爬虫文件名) (待爬取的网站域名)

　　创建爬虫文件。例如，本文的爬虫文件名为：sinaSpider，待爬取的网站域名：，则创建爬虫文件sinaSpider的命令为：

　　scrapy genspider sinaSpider

　　现在好多网站都有防爬虫举措，为了反网站的防爬虫举措，需要添加user agent信息。请settings.py文件的第19行更改如下所示：

　　18. # Crawl responsibly by identifying yourself (and your website) on the user-agent

19. import random

20. # user agent 列表

21. USER_AGENT_LIST = [

22. "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",

23. "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",

24. "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",

25. "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",

26. "Mozilla/4.76 [en_jp] (X11; U; SunOS 5.8 sun4u)",

27. "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",

28. "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:5.0) Gecko/20100101 Firefox/5.0",

29. "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:9.0) Gecko/20100101 Firefox/9.0",

30. "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:16.0) Gecko/20120813 Firefox/16.0",

31. "Mozilla/4.77 [en] (X11; I; IRIX;64 6.5 IP30)",

32. "Mozilla/4.8 [en] (X11; U; SunOS; 5.7 sun4u)" ]

33. USER_AGENT = random.choice(USER_AGENT_LIST) # 随机生成user agent

　　网站的服务器中保存一个robots.txt 文件，其作用是，告诉搜索引擎爬虫，本网站哪些目录下的网页不希望被爬取收录。Scrapy启动后，会在第一时间访问网站的 robots.txt 文件，然后决定该网站的爬取范围。

　　由于本文的项目并非搜索引擎爬虫，而且很有可能我们想要获取的内容恰恰是被 robots.txt所严禁访问的，所以请把settings.py文件的ROBOTSTXT_OBEY值设置为False，表示拒绝遵循Robot合同，如下所示

　　1. # Obey robots.txt rules

2. ROBOTSTXT_OBEY = False # False表示拒绝遵守Robot协议

　　查看由Scrapy生成的sinaSpider.py文件，在SinaspiderSpider类中，有一个parse()方法须要用户编撰，如下图所示

　　编写parse()方法

　　Scrapy框架把爬取出来的网页源代码储存在response对象中爬虫软件开发，我们只须要对response对象中的网页源代码做解析，提取想要的数据即可。本范例目标是抓取新浪网页的新闻的标题和对应的链接，如下图所示。

　　HTML源代码

　　parse()方法的实现代码，如下所示

　　1. # -*- coding: utf-8 -*-

2. import scrapy

3.

4. class SinaspiderSpider(scrapy.Spider):

5. name = 'sinaSpider'

6. allowed_domains = ['www.sina.com.cn']

7. start_urls = ['http://www.sina.com.cn/']

8.

9. def parse(self, response):

10. data_list = [] #用于存储解析到的数据

11. #解析HTML源代码，定位新闻内容

12. lis = response.xpath("//div[@class='top_newslist']/ul[@class='list-a news_top']//li")

13. #将新闻主题和超链接解析出来并整理到列表中

14. for li in lis:

15. titles = li.xpath(".//a/text()")

16. linkes = li.xpath(".//a/@href")

17. for title, link in zip(titles, linkes):

18. #将新闻主题和对应的超链接组合成字典

19. data_dict = {'标题': title.extract(), '链接': link.extract()}

20. #将字典数据存储到data_list这个列表中

21. data_list.append(data_dict)

22. return data_list

　　parse()方法在解析HTML源代码时，使用了XPath路径表达式。XPath是一门在HTML/XML文档中查找信息的语言，常用于在网页HTML源代码中，查找特定标签里的数据。在网络爬虫中使用XPath，只须要把握 XPath路径表达式即可。XPath 使用路径表达式来选定 HTML/XML文档中的节点或则节点集。

　　parse()方法编撰好后，就可以运行爬虫程序并保存抓取数据了。用命令：

　　scrapy crawl 爬虫文件名 –o 保存数据文件名.[csv|json|xml]

　　保存数据的文件格式可以是csv 或 json 或 xml，本例的爬虫文件名为:sinaSpider.py，数据储存选择csv格式，命令为：

　　scrapy crawl sinaSpider -o sinaNews.csv

　　运行疗效，如下图所示

　　运行爬虫

　　到此，本例基于Scrapy框架从零开始实现了一个网络爬虫程序，爬取了新浪网页并从中解析出新闻的标题和对应的超链接，最后把解析出的数据保存为csv文件供后续使用。