异构数据采集器框架根据处理行业的具体问题(图)

　　异构数据采集器框架根据处理行业的具体问题(图)

　　关键词采集算法收集：自己构建或者别人搭建算法库或开源库在某个领域或行业中大量收集和处理数据过滤：对于某个领域的大量数据量进行过滤标签：对于不同的数据进行分析，

　　爬虫是技术上常见的数据采集方式，在采集时，你都做过哪些有趣的事情？在这次的程序开发中，对爬虫采集器进行深入挖掘，剖析发现这些功能的一些秘密。我们定义一个采集器基本模型来了解采集器在整个程序当中处理数据的模型图。这样你就对采集器模型有了一个较为明确的认识，同时对其中某些特性有了一个基本的认识。为何选择这么一个基础的框架呢？一方面，基于传统爬虫爬取行业全量数据的基础；二是考虑到用户的需求基本差不多，如何设计具有每一种需求的爬虫爬取器还需要根据产品定位不断优化。

　　采集器基本框架采集器框架根据处理行业的具体问题分为全方位数据采集和异构数据采集两大部分，下面通过一张图大概说明这两部分的关系：全方位数据采集实际上这个采集框架有几个特征，这些特征也更好的支撑起一个相对完整的采集器框架，并针对你需要采集的那一部分数据采取对应的采集策略。当然我们的本意不是推广“全方位采集”而是通过深入挖掘，来发现全方位数据采集的关键要素，这是后话。

　　异构数据采集异构数据采集是一个大框架，从源头上就考虑采集某一类数据，但是目前市面上多数采集器不支持这类数据的采集，我们选取一个比较有名的爬虫框架，根据她的实际使用体验来为这一部分数据采集做出标记。异构数据采集中可能会使用到的采集有：硬盘、网络、移动硬盘、u盘、数据线等。前面我们分析的那种u盘不能算是本次的具体案例，因为那个太复杂而且体积庞大，没法做深入的采集工作。

　　下面我们分析一个比较简单的情况，就是只希望采集电脑里面的数据。作为一个采集器，最重要的是做好采集的模型调整和代码调优，这个过程其实就是软件化的过程，而调整的过程，涉及到了软件和硬件两个部分。上面这张图当中的爬虫采集框架采集的目标数据来源于u盘，下面这张图可以说明目标数据的来源，这是由于软件要对这些数据进行处理。

　　另外，下面这个摘要采集器中的u盘（长*宽*高）来源于c2311路由器2（ip地址192.168.1.1），这个地址应该是在绝大多数的公网网段中，可以实现大部分行业的全方位数据采集。最后，利用python生成代码，把软件和硬件架构图打包。测试数据采集器如果仅仅是单纯的采集c2311路由器内的数据，那么采集器就能满足需求，如果再覆盖ip、硬盘等复。