%E6%96%B0%97%BB为例来采集列表

优采云 发布时间: 2021-05-16 20:20

  %E6%96%B0%97%BB为例来采集列表

  %E6%96%B0%E9%97%BB例如采集列表中的文章

  使用Google Chrome浏览器打开链接,右键单击“审阅”,在控制台中切换到网络,然后单击XHR,以便可以过滤不必要的请求(例如图片,文件等),而仅请求查看内容页面

  

  由于该页面是由ajax加载的,因此请将页面拉到底部,更多文章将自动加载。目前,控制台捕获的链接是指向我们真正需要的列表页面的链接:

  在优采云 采集中创建任务

  

  创建后,单击“ 采集设置”,然后在“起始页面URL”中填写上面爬网的链接

  

  接下来匹配内容页面的URL,标题中的文章 URL格式为数字/

  点击“内容页面网址”以编写“匹配的内容网址”规则:

  这是一条常规规则,这意味着将匹配的URL加载到捕获组content1中,然后填写下面的[Content 1](与上面的content1相对应)以获取内容页面链接

  

  您可以单击“测试”以查看链接是否成功爬网

  

  获取成功后,您可以开始获取内容

  单击“获取内容”以在字段列表的右侧添加默认字段,例如标题,正文等。可以智能识别,如果需要准确性,则可以自己编辑字段,支持常规,xpath ,json和其他匹配内容

  我们需要获取文章的标题和文本。因为它是由Ajax显示的,所以我们需要编写规则以匹配内容。分析文章的源代码:,找到文章的位置

  

  标题规则:articleInfo \ s:\ s {\ stitle:\ s“ [Content1]”,

  文本规则:content \ s:\ s'[content1]',\ s * groupId

  必须保证规则的唯一性,否则它将与其他内容匹配。将规则添加到字段中,然后选择获取规则以匹配规则的方法:

  

  

  编写规则后,单击“保存”,然后单击“测试”以查看其工作原理

  

  规则正确,爬网正常,捕获的数据也可以发布到cms系统,直接存储在数据库中,另存为excel文件等,只需单击“发布设置”即可。底部导航栏,今天好。标题采集在这里,您不妨尝试一下!

  原文:

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线