如何利用scrapy抓取网页数据，可以看我这篇文章

　　如何利用scrapy抓取网页数据，可以看我这篇文章

　　如何抓取网页数据，可以看我这篇文章。通过爬虫爬取技术，可以很容易得到网页的html结构，然后可以找出网页里面的重要信息，比如按钮的id，访问的url等等。在抓取网页之前，必须先学会如何抓取网页，只有抓取到网页，才能爬取到网页里面的数据。今天跟大家分享用scrapy爬取一个网站的信息，看看如何利用scrapy抓取网页数据。

　　准备工作首先，我们要有一个浏览器和一个scrapy-spider。注意，由于scrapyspider是使用httplib进行操作，所以scrapyspider必须要支持httplib。注意：由于scrapyspider需要使用httplib，所以如果scrapyspider没有，那么scrapyspider就找不到httplib支持的页面，抓取出来的数据就会有乱码。

　　1.我们要有一个浏览器浏览器大家一定要有，比如手机浏览器，电脑浏览器，云主机浏览器，这里推荐手机浏览器和电脑浏览器都有。有了浏览器就方便了，scrapyspider抓取网页的时候，将会通过网页上url返回，比如我们访问url://,返回结果是一个列表，那么我们通过这个列表，从列表中抓取我们需要的数据就行了。

　　很简单的一个代码：defget_data(url):urlpatterns=[url('*')forurlinurlpatterns]spider=scrapy.spider(urlpatterns)spider.add_all(spider)这个代码和代码实现了url，spider的依赖，我们只需要通过网址就可以抓取网页中的所有内容。

　　2.我们要有一个scrapy-spider爬虫爬虫，也是scrapy中很重要的一个概念，我们得有个scrapy-spider才能抓取数据。这里的scrapy-spider代表一个网站的爬虫。爬虫必须会抓取。如果一个scrapy-spider抓取不了，那这个scrapy-spider也是找不到抓取的内容的。

　　准备工作都做好了，现在爬虫已经在身边了，我们马上就开始爬数据。3.我们要有一个scrapy-spider作为爬虫运行网站。我们进入网站，然后通过scrapyspiderstartproject“mzsshu2014”。我们看到网站根据我们设置的url返回了这些数据：/~gohlke/pythonlibs/#mzsshu2014通过命令scrapystartprojectmzsshu2014。

　　我们的scrapy-spider即将运行。爬虫运行我们这里简单介绍一下scrapycrawler的创建方法。对于爬虫的创建，我建议使用zip来打包数据，或者pipinstallzip包也可以。下面这段代码是我创建的一个简单的爬虫，我分别用两种方法创建的，差别不大，可以参考看看：importscrapyclassmzsshu2014spider(scrapy.spider)。