SupeSite支持手工采集和智能采集需要您自己配置采集规则

优采云 发布时间: 2021-06-29 23:18

  SupeSite支持手工采集和智能采集需要您自己配置采集规则

  SupeSite支持手动采集和智能采集,手动采集需要配置采集规则,智能采集只需要添加需要采集的URL地址,程序会自动您的采集网站 信息。接下来给大家介绍两个采集方法:

  一、手工采集:

  手动采集是指自己配置采集规则。打开SupeSite的“系统设置”,点击“新闻管理”的“采集器”,然后点击“添加新机器人”。

  先简单说明一下采集器的基本原理和制作思路:

  1、确定你要采集哪个页面的新闻,并在“列表页面采集设置”的地址框中填写这些页面的地址;

  2、 确保你想要这些页面上采集的内容区域,因为不是一个网页的所有内容都需要采集回来,而是采集的一部分内容一个网页,所以你必须告诉程序你到采集区,即“列出区识别规则”;

  3、Step 2 确定区域后,告诉程序你想要采集的文章链接,即“文章link url识别规则”。

  4、 现在已经确定了采集 大框架。接下来我们需要告诉程序在一个文章页面上,文章的title(“文章title识别规则”),文章的出处跟作者有什么区别。然后是文章内容的范围,也就是说,在一个文章页面中,真正需要采集的范围是“文章Content Identification Rules”。最后,设置分页区域和分页的链接地址。

  5、 以上4步就确定了采集的范围。如果您需要过滤标题和内容,请根据您的要求为每个项目设置过滤设置,例如“文章Title 过滤规则”和“文章Content 过滤规则”等。

  以上确定范围的步骤都是通过查看页面的源代码来设置的。拦截方法需要一定的经验。练习2-3遍就可以理解了。

  接下来介绍采集器的基本原理和步骤:

  第一部分:打开SupeSite的“系统设置”,点击“新闻管理”的“采集器”,然后点击“添加新机器人”。

  这里需要指出的是:单个采集号和自动导入。单个采集的数量应设置得尽可能小,以避免超时。自动导入,请选择信息类别,可以直接将采集的结果导入信息库。如下图:

  第二部分:填写“list page采集”和“采集page code”。请填写采集的页面地址(列表页面地址)。这个分为手动输入和自动输入:手动输入需要你逐行输入需要的采集地址。自动增长只需填写采集页的地址和页码,用[page]替换分页变量即可。如下图:

  点击上图,尝试链接,可以看到如下图的页面,这样就可以判断你的服务器是否可以链接到想要采集的网站,也就是检查服务器是否允许采集,如果这里不能显示链接,就不能采集这个页面。

  设置“采集page encoding”,它是你采集网页的编码,不是你网站的编码。记住这里! !如下图:

  第三部分:设置“列表区域”和“文章link”的识别规则。如下图,填写列表区的规则和文章链接的规则。 采集的内容范围替换为[list],采集文章的标题替换为[url]。 文章Link URL删除和过滤规则,请参考图片中的详细说明,这里不再赘述。

  第四部分:设置“文章Title”识别规则,如下图,文章Title替换为[subject]。 文章标题过滤规则、淘汰规则、替换规则,包括关键字,请参考图片中的详细说明,这里不再赘述。

  第五:设置“文章内容”的识别规则,如下四张图,均属于文章内容识别规则。 文章内容替换为[message],分页区替换为[pagearea],分页链接替换为[page],信息来源替换为[from],文章author替换为[author]。同上,一些过滤、剔除等规则请参考图片中的详细说明,这里不再赘述。

  以下几点:

  文章Content 格式化:此操作将去除网页的冗余生成,并根据原创段落对文章内容进行分割。格式化过程是程序自动分析的,会有一些错误。

  将内容中的图片保存到本地,将内容中的FLASH保存到本地。这里可以选择是否将采集的图片和Flash保存到本地。如果要将对方网站的图片保存在自己的服务器上,请选择“是”!

  至此,你已经设置了一条采集规则,然后点击“开始采集”,采集完成后点击“查看结果”。最后将采集的内容导入信息中。这里有一点:采集的内容只能导入新闻频道。

  这里的重点是导入后删除而不是删除。如果选择删除,来自采集的信息导入后将无法再次使用。

  二、智能采集:

  Smart采集 为您提供了一种非常简单易用的采集 方法。只需在地址框中添加您需要采集的站点地址,然后点击开始采集。

  Smart采集集成在manual采集中,您只需在地址框中填写采集的地址,然后点击提交即可。

  欲了解更多详情,请访问我们的网站:或联系我们:

  1

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线