云爬虫（scrapy）主要有三种方式：网页抓取数据特点

　　云爬虫（scrapy）主要有三种方式：网页抓取数据特点

　　网页抓取数据特点：通过web应用程序技术和技术的相应改进可以实现对pc浏览器的url列表和页面内容的自动全文检索、信息索引和任意长度的查询表查询。云爬虫概念所谓的云爬虫（scrapy），是指通过网络爬虫技术进行的全站pc站点数据抓取，其原理包括解析html和整合文档结构、抓取数据库表操作以及post、get等各种scrapy框架的实现。

　　因为其采用的是互联网的javascript解析方式，因此能够对页面内容进行解析抓取，节省大量的人力物力以及时间等。云爬虫主要有三种方式：1.模拟浏览器访问，该方式原理为相同的url应用方式会出现不同的页面抓取效果，主要不同在于抓取url参数的定义。2.通过数据库及时更新抓取效果，该方式除了抓取url定义，还要根据存储在云服务器中的内容更新定义url的重定向，然后通过搜索引擎抓取数据，实现数据库的同步更新。

　　实现方式是以域名为索引,在无数据库及时更新的情况下依然可以抓取相应的数据。3.通过访问代理。实现方式是将一个http服务器作为一个代理服务器，访问一个公网地址，无需任何的数据库更新，即可访问任意长度的数据库，本质上和个人博客等访问域名解析类似，不同点在于需要在http服务器中添加header类，在发送请求时传递给header类中的域名，实现数据源源不断的提供给爬虫。

　　(注意：这里的代理服务器使用http2来提供代理服务，暂时还不太稳定)抓取效果云爬虫可以使用一些抓取工具即可实现抓取效果，目前主要有如下几种方式：1.模拟浏览器访问：将一个公网ip作为http服务器可以抓取大量静态页面。2.访问代理：直接通过http2去模拟http服务器去抓取静态页面，同时也可以使用代理池。

　　3.数据库及时更新抓取：使用数据库接口，当抓取比较频繁时，数据库数据及时更新，增加了抓取频率。4.post、get、put等方式，或通过改变http头等方式，使数据抓取效率变高。优缺点比较：综合比较下模拟浏览器，爬虫的效率是1-->2-->3，而代理、数据库和post、get方式，数据抓取效率提高的倍数。机器不太大，爬虫能够抓取的数据量还不太大的情况下还是用模拟浏览器的方式来抓取。