初始大数据-02-日志采集大数据和爬虫采集大数据

　　6. Flume通过系统日志采集大数据的基本概念

　　此图片绘制在网站上

　　关键字

　　编写Flume使用方法的配置文件的原理描述了整个代理中的源，*敏*感*词*和通道所涉及的组件. 详细指定代理中的每个来源. *敏*感*词*和通道的特定实现通过通道连接源和*敏*感*词*. 开始Agent的外壳操作. 7.通过Web爬网程序采集大数据

　　网络爬虫工具基本上可以分为3类

　　Web爬网程序是一种程序或脚本，可以根据某些规则自动爬网Web信息

　　采集器通常具有三个功能: 数据采集，处理和存储

　　以上图片为网站

　　Web爬网程序的原理Web爬网程序的工作流程选择*敏*感*词*URL，将这些*敏*感*词*URL放入队列中，然后从等待的队列中取出URL，解析DNS，获取主机的IP地址，然后下载相应的网页URL. 存储在下载的网页库中. 此外，将这些URL放入爬网URL队列中. 解析爬网的URL，分析嵌套的URL，然后将这些URL放入等待队列中，依此类推，直到数据采集达到特定条件并停止.

　　上图来自网页和网络爬虫爬网策略之间的关系模型

　　上面的图片来自网站

　　网页分类已下载但尚未过期: 进行爬网后，下载存储在网页库中的网页，并且其网页数据尚未过期. 下载的过期网页: 已爬网并放置在网页库中，但是由于原创网页信息已更新，因此下载的网页已过期. 要下载的网页: URL队列尚未下载并保存到网页库中. 已知网页: 尚未进行爬网，也不在要爬网的URL队列中，但是您可以分析已爬网的页面或要爬网的URL的相应​​页面，并且获得的网页不是已知网页: 爬虫无法捕获它们的“提取的网页”. 通过网络爬网程序的常见爬网策略

　　宽度优先策略

　　关注网络爬虫

　　3）基于强化学习的爬行策略

　　4）基于上下文地图的抓取策略

　　对网络爬虫策略的简单理解

　　深层网络爬虫

　　根据网页的存在方式，它们可以分为表面网页和深层网页.

　　深层Web采集器体系结构由6个基本功能模块（搜寻控制器，解析器，表单分析器，表单处理器，响应分析器，LVS控制器）和两个采集器内部数据结构（URL列表和LVS）表组成.

　　其中，LVS（LabelValueSet）表示标签和值的集合，并用于表示填充表单的数据源. 在爬网过程中，最重要的部分是表单填充，包括基于领域知识的表单填充和基于网页结构分析的表单填充.