网页文章采集器(优采云采集器英文名www.ucaiyun.com使用教程，采集器在下文教程)

　　网页文章采集器(优采云采集器英文名www.ucaiyun.com使用教程，采集器在下文教程)

　　优采云采集器英文名为。是一款专业的互联网数据采集、处理、分析和挖掘软件。拥有网站采集、内容采集、数据处理、数据发布、日志管理等功能，支持多数据库、无限多页面采集，全自动运行，分布式高速采集，多识别系统，采集监控系统可以很好的帮助网站管理优化人员对网站进行分析和优化。现在已经被电商运营商、企业人员、网站站长等各行业人士使用。有需要的小伙伴快来下载优采云采集器免费版吧。小编还附上一个简单的教程给大家下面！

　　采集器教程1、新建组--新建任务

　　2、添加 URL + 编辑获取 URL 的规则

　　选择ul中li中的链接，注意排除重复地址，可以点击下方测试URL采集获取。

　　您可以看到 文章 链接到 采集。

　　3、采集内容规则

　　我需要采集来显示下图中的数据（catid是列id，可以把采集中的数据放到对应列中，设置一个固定值即可）

　　关注内容和图片的采集，标题和描述同内容采集

　　内容采集：

　　打开一个采集的文章页面，查看源码（如果禁用了右键f11或者在url前面加了view-source:可以查看）：选择一个位置在文章的开头，拦截一个段落是否是ctrl+f搜索下的唯一段落，如果是，可以放在下图1的位置，结尾和开头一样。我不想截取内容，不想在里面有链接图片进行数据处理，添加--html标签排除--选择确定--确定

　　还有一个需要下载页面图片，勾选并填写以下选项

　　图片 采集：

　　（1）选中范围与内容一致（文章中的图片）

　　(2）数据处理选择提取第一张图片，内容为：

　　(3）只要aa.jpg，常规过滤，获取内容：aa.jpg

　　(4）数据库存储有前缀，添加，上传/xxxxx/

　　找个页面测试一下，可以看到获取到了对应的item。

　　4、发布内容设置，这里以模式3发布到数据库为例，编辑好后返回查看新定义的模块：

　　5、我需要将图片保存到本地，需要设置保存文件的路径（ftp稍后会尝试使用）。

　　6、保存，查看新创建的任务，右键启动任务，这里可以看到文字和图片已经下载完毕，在数据库中也可以看到。

　　功能介绍一、网址采集

　　1、您可以通过URL采集规则设置快速采集到想要的URL信息。您可以手动输入、批量添加或直接从文本中导入 URL，并自动过滤和删除重复的 URL 信息。

　　2、支持多级页面URL采集，多级URL采集可以使用页面分析自动获取地址或手动填写规则。针对多级分页中内容不同但地址相同的页面URL采集，软件设置了三种HTTP请求方式：GET、POST和ASPXPOST。

　　3、支持网站采集测试，可以验证操作的正确性，避免因操作错误导致采集结果不准确。

　　二、内容采集

　　1、通过分析网页源代码，可以设置内容采集规则，准确采集对网页中分散的内容数据，支持复杂页面的内容如作为多级多页采集。

　　2、通过定义标签，可以对数据进行分类采集，比如将文章内容的标题与文本采集分开。软件配置了三种内容提取方式：前后截取、正则提取、文本提取。可选性强，用户可根据需要进行选择。

　　3、内容采集也支持测试功能，可以选择一个典型的页面来测试内容采集的正确性，以便及时更正和进一步数据处理。

　　三、数据处理

　　对于采集收到的信息数据，软件可以进行一系列智能处理，使采集收到的数据更符合我们的使用标准。主要包括1）标签过滤：过滤掉内容中不必要的空格、链接等标签；2） 替换：支持同义词和同义词替换；3） 数据转换：支持中英文、简体繁体、拼音转换等；4）自动总结、自动分词：支持自动生成摘要和自动分词功能；绝对地址的智能完成。

　　四、数据发布

　　1、数据采集数据下载后，默认保存在本地数据库（sqlite、mysql、sqlserver）中。用户可以根据自己的需要选择对数据的后续操作完成数据发布，支持直接查看数据、在线发布数据和入库，支持用户使用和开发发布接口。

　　2、根据数据库类型，用相关软件打开直接查看数据，配置发布模块在线发布数据到网站，可以设置自动登录网站 ，获取列列表等；if 进入用户自己的数据库后，用户只需要编写几条SQL语句，程序就会根据用户的SQL语句导入数据；保存为本地文件时，支持本地SQL或文本文件（word、excel、html、txt）格式。

　　五、多任务和多线程

　　可以选择同时运行多个任务，支持不同网站或同一站点下不同栏目同时采集的内容，可以有计划地调度任务。采集内容和发布内容时，单个任务可以使用多个线程运行，提高运行效率。