*敏*感*词*化采集器的工作流程及工作原理分析！

　　*敏*感*词*化采集器的工作流程及工作原理分析！

　　自动采集器已经开发到了第四代。可以说，无论是服务商还是用户，都是最欢迎的。尤其是能用到便利快捷的全自动化采集，不用担心数据采集丢失或者丢失，是最喜欢用的功能之一。采集逻辑大体分为两种，一种是自动采集，另一种是*敏*感*词*化。根据不同的需求，还可以增加其他拓展功能。目前常用的自动采集功能如下：主动采集、自动分页、规则触发、指定采集数据、自动批量导出excel。

　　但主动采集为后来者所使用，实施难度更高，这里不做详细介绍。相对来说，*敏*感*词*化对用户要求较低，因为用户只需要知道，出现某种规则触发时，我可以将采集操作批量完成。而规则触发其实就是简单的拖拽，但相比主动采集，需要用户先学习规则，然后按照规则执行数据采集。由于拖拽操作没有学习成本，所以*敏*感*词*化采集用户数量越来越多。

　　一、采集器的工作流程

　　1）收集：快速收集数据，

　　2）筛选：针对不同的需求，完成数据的筛选，提高效率。

　　3）分页：分页数据为后期拓展功能，可以增加数据分页规则触发、多条件筛选等规则触发。

　　4）批量导出数据：批量导出excel和xml文件。

　　5）采集器fps自动优化，重复出现的规则不再一次触发，自动按照指定条件来触发。fps可以从0.5提高到1.5，如果可以，可以定制。

　　6）采集器可以加入路由规则，实现定制、实时动态爬取。

　　2、采集器采集到数据简单分析，将采集到的数据存入数据库有哪些好处呢？以上述的批量导出为例，1分钟之内可以完成分析。分析出来的数据更有直观的发现，和竞品不同的地方。下图是腾讯taobao全数据库中分析出来的销售数据，用传统的excel就可以。导出为excel后，做些数据分析也是很有效的。2.其它方面的分析：这个方面也是我的一些想法，分析后，希望可以分享出来，大家一起讨论。先写到这里吧，有机会再补充。也欢迎有写的好的地方，欢迎找我交流。@阿斌@夏炎。