市面上云采集内容管理平台的三大类处理方法

　　市面上云采集内容管理平台的三大类处理方法

　　采集内容管理平台也被称为内容采集平台，通过采集http、mongodb等内容采集器来进行数据采集、清洗、存储和分析等处理。在数据采集一行代码下来，数据必然是存储在本地电脑上的，每台电脑使用单独的登录帐号进行登录，用户相互之间缺乏安全性。如今，内容采集工具遍地开花，各种服务也不断推出，例如redis、mongodb、newsql等，采集工具中，有云采集、私有云采集、代理采集等不同方式。根据云采集产品的数量和覆盖用户群体，传统内容采集工具可以划分为下面三大类：。

　　1、私有云采集代理采集，是通过基于非对称加密的采集架构，或者icmp协议采集到的数据再上传到另一台主机上存储，通过传统的反爬虫和加密体系实现对采集的访问和存储。例如payload采集和爬虫动态改变才提取和采集，reactor采集，

　　2、混合代理采集代理采集，是通过混合代理架构来采集，根据不同业务的需求来搭建swot架构，那么这里面有几个关键点：采集请求的地址，采集请求的完整的带宽成本，带宽成本是影响采集性能的重要因素。采集方式的选择，tb/pb，请求的数据量，请求的带宽是否方便存储，需要以采集页为单位存储的数据量及采集请求是否不便于可用数据库存储。

　　数据存储方式，可以是以mysql或者redis为主，还可以以postgres/redis为主等。采集平台的管理，是否有多个采集平台和接入方式，采集平台的访问地址等。采集系统是否可配置，如何配置等等。

　　3、云采集工具适用于以业务需求、安全为选择最主要考虑的原因。目前市面上云采集工具众多，我们主要介绍对应的采集工具，其他的采集工具可以自行搜索。这里面有几类主要的：scrapy，digg，jp2click等。以简单易用著称的是digg和jp2click。

　　1、digg简单易用，不需要编写代码采集，可以按照地址进行匹配，ip匹配，按照关键字进行匹配。容易上手，而且采集效率比较高。

　　2、jp2clickjp2click是这个市场上唯一一个，结合python处理爬虫，而且交互方式也是server化交互的模式，以及最近上线的tez加速性能。但是由于不支持ssl这个缺陷，用户在采集jp2click上面存在一定困难。

　　3、decodesystemsforpython，用python代码采集，不需要编写代码。可以自动识别爬虫语言，采集更方便，对于不懂python的开发者，是一个福音。

　　4、adspy（爬虫工具）主要是用于解决从网页上采集的问题，爬虫程序为两个文件readr和repl，readr文件可以直接进行读取；repl文件用于解析网页，可以在本地将两个文件抓取下来以flask为后端接入整个模型来做分析。