采集器采集源(od爬取全部源数据有哪些方式？(组图))

　　采集器采集源(od爬取全部源数据有哪些方式？(组图))

　　采集器采集源数据就是我们常说的od，od的爬取途径有四种：下载源文件、抓包分析源文件和从服务器抓包分析，他们采集方式不同，如何选择很大程度上是看你的需求。下载源文件和抓包分析源文件我都比较熟悉，毕竟源码采集是最简单的方式，用的较多的服务器采集od数据。对于od本身，在前期对数据源采集来讲不需要封装，如何使用说明，我就不详细解释，基本都是从scrapy框架出发。下面说一下od爬取全部数据有哪些方式。

　　一、两种采集方式，根据采集的功能，可分为两种方式：下载源文件：提供给用户选择下载源文件抓包分析源文件：提供给用户选择分析完源文件，

　　二、scrapy爬取全部源数据的方式总结如下：下载源文件方式：

　　1、查看数据类型scrapy提供的爬取api是分为post和get两种方式的：post数据包括url、domain、scheme、content。如果提供的数据类型设置成get，则同时可以爬取post文件内容；如果提供的数据类型设置成post，则同时可以爬取post相关的文件。get的爬取方式只能爬取文本类型的数据。

　　查看post方式提供的抓包工具，可以看出：通过requestid，相关的网址标识，直接查看包含你请求路径里的html内容，从而拿到你想要的数据；或者在scrapy采集器底部编辑框输入postget方式获取的post数据，进行查看获取的html信息，如果数据不方便公开，可以查看内部数据来源可以采集的类型（可以选择requestheaders里的项），在scrapy爬取器编辑框里设置采集样式(style)，查看采集到的内容；。

　　2、选择想要抓取的网址数据类型。如果是post，默认url为/，这种方式下数据包含所有的内容；如果是get，则采集到的url为/*这种网址类型，采集的时候就是采集网址采集到的内容了；如果是想要获取某个地区的数据，选择该地区比如：*/，则采集该地区的数据。选择你想要爬取的数据类型(如果是动态路径，还可以选择直接采集路径)下载源文件抓包分析源文件，这样做采集工作也比较方便，可以根据源文件的编码进行编码转换，不会出现乱码等问题。

　　下载源文件方式抓包分析源文件：两种方式都可以采集到单个文件的内容（封装数据目录），如果采集的文件较小，建议采集第一种方式，封装好url等，直接在后面进行抓包分析就可以。数据抓取完后，可以封装成html文件。