织梦怎么写采集规则(超详尽教程)

优采云 发布时间: 2020-07-24 08:00

  此文首发在小凡的新浪博客上,今天就转来了,供菜鸟学习哦~

  今天给你们讲一讲如何写织梦5.3的采集规则教程!其他版本也类似哦!

  首先我们打开织梦后台点击采集——采集节点管理——增加新节点

  这里我们以采集普通文章为例织梦电影采集规则,我们选择普通文章,然后确定

  我们步入了采集的设置页面,填写节点名称,就是给这个新节点取个名子,这里你可以任意填写。

  然后打开你想要采集的文章列表页,这里我们以织梦官网为例打开这个页面,右键——查看源文件

  找到目标页面编码,就在charset前面

  页面基本信息其他的通常就不用管了,填完了如图

  现在我们来填写列表网址获取规则

  看看文章列表第一页的地址

  对比第二页的地址

  我们发觉了她们不仅49_后面的数字不一样,其他的都一样,所以我们可以这样写

  (*).html

  就是把1换成了(*)因为这儿只有2页,所以我们就填从1到2每页递增其实是1了,2-1...是等于1吧

  这里我们就填写完了

  可能你们采集的有些列表没有规则,那就只有手工指定列表网址了,如图

  每行写一个页面地址

  列表规则写完了,我们就开始写文章网址匹配规则了,回到文章列表页

  右键查看源文件找到区域开始的HTML,就是找文章列表开始的标志。

  我们很容易的找到了如图中的“新闻列表”。从这里开始,后面就是文章列表里

  我们再找文章列表结束的HTML

  就是这个了,一个很容易找到的标志

  如果链接中富含图片:

  不处理 采集为缩略图 这里按照自己的须要选择

  对区域网址进行再度筛选:

  (使用正则表达式)

  必须包含:(优先级低于前者)

  不能包含:

  打开源文件,我们可以太清楚的看见,文章链接都是以.html结束的

  所以,我们在必须包含前面填.html假如遇见有些列表很麻烦,还可以填写旁边的不能包含

  我们点击保存设置步入下一步,可以看见我们获得的文章网址

  看到这种就是对的了,我们保存信息步入下一步设置内容数组获取规则

  我们瞧瞧文章有没有分页,随便步入一篇文章看看。。我们听到这儿的文章没有分页

  所以这儿的我们就默认了

  我们如今来找文章标题等等随意步入一篇文章,右键查看源文件

  看看那些

  依照源码填写

  我们再来填写文章内容的开始,结束

  和里面的一样,找到开始和结束标志

  开始:

  结束:

  你想过滤文章中的哪些内容就到过滤规则里写吧,比如要过滤文章中的图片

  选择常用规则

  再勾选IMG 然后确定

  这样我们就把正文中的图片过滤了

  设置完毕后点保存设置并预览

  这样一个采集规则就写好了,很简单吧有些网站很难写,可要多下点工夫了哦

  我们点保存并开始采集——开始采集网页一会的工夫就采集完了

  我们瞧瞧我们采集到的文章

  456

  看来是成功了织梦电影采集规则,我们导入数据吧

  完成了,更新一下文档吧,可以看见采集到了文章咯

  因为我们过滤了图片,所以上面的一张图片没有啦!

  写采集规则其实很简单吧~

  第一次写东西,写的不好请多多包含,有错误的地方请留言,我会及时改正!

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线