内容采集系统(内容自动采集器采集数据的一般流程及流程（一）)

　　内容采集系统(内容自动采集器采集数据的一般流程及流程（一）)

　　第8章自动内容采集器模块（爬虫+FCKeditor编辑器+任务中继）

　　网站内容的合成除了可以编辑输入原创内容外，还可以通过后台的content采集功能获取指定的内容来源信息。使用内容自动采集器可以使网站的内容多样化，减少网站编辑的工作量。所以内容自动采集器功能是网站后台必备的功能之一。通过本章的学习，读者可以了解内容采集的基本原理和实现方法，直观地了解正则表达式在内容采集的过程中的核心作用。所涉及的技术细节和知识点也会在实例中进行说明。是时候一一详述了。

　　本章涉及的主要知识点如下。

　　file_get_contents() 函数：该函数将整个文件读入一个字符串。

　　preg_match_all() 函数：执行全局正则表达式匹配。

　　FCKeditor：一种广泛使用的开源“所见即所得”文本编辑器。

　　任务中继模式：任务中继模式的本质是拆分一个任务，将一个任务拆分成多个子任务。

　　8.1 内容自动采集器功能和采集原理

　　内容采集，顾名思义就是按照一定的要求自动采集、过滤、整理互联网上的公共信息资源，然后按照一定的规则存储在数据库中。根据这个目标，可以看出自动内容采集器的功能由三部分组成，分别是数据规则模型管理、采集节点管理、下载内容管理。

　　在实际应用中，会根据不同的业务应用领域，加强某些功能。如果希望采集的目标网站内容格式非常复杂，必须加强“数据规则模型管理”，自定义适用于不同类型网站的采集规则；如果需要频繁更换采集的信息源，则需要加强“采集节点管理”和“重复内容过滤”功能。一个常见的典型应用就是将上述功能集成在一起，在一个界面上操作会更高效、更快捷。总之，需要根据实际业务将上述功能结合起来。

　　自动内容采集器采集数据的大致流程如下：

　　（1)根据预定义的爬取规则，要获取一个栏目网页中的所有内容，需要记录这个网页的网址列表，做成采集列表。

　　（2)程序根据定义的规则对列表页面进行爬取，对URL列表进行分析和整理，然后对获取到该URL的网页内容进行爬取。

　　（3)程序根据特定页面的采集规则对下载的网页进行分析，将标题内容和其他信息分开，核对无误后存入数据库。

　　本节具体介绍内容采集技术实现的原理和过程。