爬虫抓取网页数据( 1.本发明可视化爬虫监控系统的数据抓取方法，数据爬虫)

　　爬虫抓取网页数据(

1.本发明可视化爬虫监控系统的数据抓取方法，数据爬虫)

　　1. 本发明涉及信息技术领域，尤其涉及一种可视化爬虫监控系统的数据采集方法。

　　背景技术：

　　2.网络爬虫（又称网络蜘蛛、网络机器人，在foaf社区，更多的时候是网络追逐），是按照一定的规则自动抓取万维网上信息的程序或脚本，其他很少使用名称包括蚂蚁、自动索引、模拟程序或蠕虫，它们从万维网下载网页供搜索引擎使用，是搜索引擎的重要组成部分。

　　3. 然而，传统的网络爬虫无法根据时间、地点、天气等条件从存储监控数据的网盘中抓取相应的监控数据，也无法根据用户需求的比例进行筛选。屏幕中的特定颜色。当用户对监测信息的出现时间含糊不清时，无法提供其他辅助过滤条件来提高过滤信息的准确度，且过滤后的监测数据未按时间轴排列，不方便使用。作者梳理逻辑，过滤后的数据无法及时查看预览。

　　技术实现要素：

　　用户可以通过显示终端直接对转换后的监测数据进行在线监测。查看和预览。

　　5.(二）技术方案本发明提供一种可视化爬虫监控系统的数据抓取方法，包括监控系统、存储模块、网盘、数据爬虫1、数据爬虫2、数据爬虫3、云数据库、时间过滤菜单、颜色过滤菜单、过滤显示模块、时序排列模块、解码模块、显示终端，监控系统包括存储模块，存储模块存储用于监控*敏*感*词*采集到的监控数据，存储模块定期将存储的监控数据上传到网盘。

　　6.优选地，数据爬虫1、数据爬虫2、数据爬虫3通过万维网进入网盘，从中爬取数据。

　　7.优选地，数据爬虫1、数据爬虫2、数据爬虫3将从网盘爬取的数据上传至云数据库。

　　8. 优选地，云数据库设有时间过滤菜单和颜色过滤菜单，可以根据监测数据的拍摄时间或监测数据中的特定颜色过滤相关监测信息。

　　9. 优选地，时间筛选菜单和颜色筛选菜单将筛选结果传送给筛选集显示模块，筛选集显示模块包括时序安排模块和解码模块。

　　10. 优选地，所述时序排列模块将所述筛选采集显示模块中的监控数据按时间线排列，并在所述色彩筛选菜单过滤的监控数据的顶部专门标注检索时的颜*敏*感*词*况。

　　11. 优选地，解码模块对时序排列模块在线排列的监控数据进行解码，并将解码后的监控数据格式转换为视频格式。

　　12. 优选地，显示终端可以直接观看解码成视频格式的监控数据，并且可以调整监控数据的进度条。

　　13. 与现有技术相比，本发明的上述技术方案具有以下有益技术效果：本发明可以根据时间等条件从存储监控数据的网盘中爬取相应的监控、位置、天气等数据，爬取的监控数据按时间段或特定颜色在屏幕中的比例过滤。当用户对时间和事件的印象比较模糊时，可以将两者结合使用，以提高过滤信息的准确性。时序排列模块将过滤后的监控数据按照时间轴进行排列，方便用户梳理逻辑。同时，

　　图纸说明

　　图14. 图1为本发明提出的一种可视化爬虫监控系统的数据采集方法的树状结构*敏*感*词*。

　　详细说明

　　1 5. 为使本发明的目的、技术方案和优点更加清楚明白，下面结合具体实施例并参照附图对本发明作进一步详细说明。应当理解，这些描述仅是示例性的，并不用于限制本发明的范围。此外，在以下描述中，省略了对众所周知的结构和技术的描述以避免不必要地模糊本发明的概念。

　　16. 示例1：如图1所示，一种可视化爬虫监控系统的数据抓取方法，包括监控系统、存储模块、网盘、数据爬虫1、数据爬虫2、@ >Data Crawler3、 云数据库、时间过滤菜单、颜色过滤菜单、过滤集合显示模块、时序排列模块、解码模块、显示终端，在云数据库中设置时间过滤菜单和颜色过滤菜单，监控系统包括存储模块，存储监控*敏*感*词*采集的监控数据，存储模块定期将存储的监控数据上传到网盘，数据爬虫1、数据爬虫2、数据爬虫3进入网盘通过万维网抓取数据。数据爬虫1、 数据爬虫2和数据爬虫3可以从存储有监测数据的网盘中按时间、地点、天气等条件抓取相应的监测数据；示例2：如图1所示，数据爬虫1、数据爬虫2、数据爬虫3将从网盘爬取的数据上传到云数据库，云数据库容量大且用户的硬件要求低。云数据库配备时间过滤菜单和颜色过滤菜单，可根据监测数据的采集时间或监测数据中的特定颜色过滤相关监测信息，按时间段或特定颜色占用屏幕color 比例大小过滤爬取的监控数据。当用户对时间和事件的印象比较模糊时，两者可以结合使用，提高筛选信息的准确性；实施例三： 如图1所示，时间过滤菜单和颜色过滤菜单将过滤结果传送给过滤集合显示模块。过滤采集

展示模块包括时序排列模块和解码模块。时序排列模块将过滤采集显示模块中的监测数据按时间轴排列。过滤后的监测数据与时间轴上的对应点相关联，在颜色过滤菜单过滤后的监测数据上方会专门标注检索时的颜*敏*感*词*况，按照时间轴排列的监测数据更方便用户查看理清逻辑；

　　实施例四：如图1所示，解码模块对时序排列模块在线排列的监控数据进行解码，将解码后的监控数据格式转换为视频格式，使不可见的监控数据可视化，显示终端可以直接观看解码为视频格式的监控数据，监控数据的进度条可以调整。用户可以通过显示终端查看或预览监控视频。

　　17. 本发明中，监控系统通过监控*敏*感*词*进行实时监控拍摄。监控系统通过监控*敏*感*词*将监控*敏*感*词*捕捉到的监控数据直接传输到存储模块。存储模块在将数据备份到网盘的同时存储数据。用户可以使用数据爬虫1、数据爬虫2和数据爬虫3根据不同的条件抓取监控数据，包括但不限于时间、地点、天气等，爬取得到的数据会上传到云端数据库。时间用户可以通过时间过滤菜单过滤自己需要的时间段内的监控数据，也可以通过预设特定颜色到屏幕的比例来过滤自己需要的监控数据，或者用大概的时间和具体的颜色来占据屏幕比例的大小，结合自己需要的监控数据进行过滤，让不确定需要监控数据的时间段的用户可以找到自己需要的监控数据通过色彩辅助，过滤后的监测数据将传输至筛选采集显示模块。筛选集合显示模块中的时序排列模块将监控数据按照时间轴排列，并在通过颜色筛选菜单过滤的数据上方添加搜索中使用的颜色条件，筛选集合显示模块中的解码模块通过online 解码方法对时序排列模块中排列的监测数据进行解码。解码后的监控数据将转换为视频格式并显示在显示终端上。用户可以通过显示终端直接观看监控数据，在观看监控视频的同时，可以实时调整监控数据的进度条。

　　18. 应当理解，本发明的上述具体实施方式仅用于举例或说明本发明的原理，并不构成对本发明的限制。因此，凡在不脱离本发明的精神和范围内所作的任何修改、等同替换、改进等，均应收录

在本发明的保护范围之内。此*敏*感*词*和界限内或该范围和界限的等效形式内的所有变化和修改。