搜狗微信公众号热门文章如何采集.docx 18页

　　搜狗微信公众号热门文章如何采集.docx 18页

　　优采云·云采集服务平台优采云·云采集服务平台搜狗微信公众号热门文章如何采集本文介绍使用优采云采集搜狗陌陌文章（以热门文章为例）的方式采集网站：/规则下载：使用功能点：分页列表信息采集 HYPERLINK "/tutorial/fylb-70.aspx?t=1" /tutorial/fylb-70.aspx?t=1Xpath HYPERLINK "/search?query=XPath" /search?query=XPathAJAX点击和翻页 HYPERLINK "/tutorial/ajaxdjfy_7.aspx?t=1" /tutorial/ajaxdjfy_7.aspx?t=1相关采集教程：天猫商品信息采集百度搜索结果采集步骤1：创建采集任务1）进入主界面，选择“自定义模式”搜狗微信公众号热门文章如何采集图12）将要采集的网址URL复制粘贴到网站输入框中，点击“保存网址”搜狗微信公众号热门文章如何采集图2 HYPERLINK "/article/javascript:;" 步骤2：创建翻页循环在页面右上角，打开“流程”，以突显出“流程设计器”和“定制当前操作”两个蓝筹股。网页打开后，默认显示“热门”文章。

　　下拉页面，找到并点击“加载更多内容”按钮，在操作提示框中，选择“更多操作”搜狗微信公众号热门文章如何采集图2选择“循环点击单个元素”，以创建一个翻页循环搜狗微信公众号热门文章如何采集图3因为此网页涉及Ajax技术，我们须要进行一些中级选项的设置。选中“点击元素”步骤，打开“高级选项”，勾选“Ajax加载数据”，设置时间为“2秒”搜狗微信公众号热门文章如何采集图4注：AJAX即延时加载、异步更新的一种脚本技术，通过在后台与服务器进行少量数据交换，可以在不重新加载整个网页的情况下，对网页的某部份进行更新。表现特点：a、点击网页中某个选项时，大部分网站的网址不会改变；b、网页不是完全加载，只是局部进行了数据加载，有所变化。验证方法：点击操作后，在浏览器中，网址输入栏不会出现加载中的状态或则绕圈状态。观察网页，我们发觉，通过5次点击“加载更多内容”，页面加载到最顶部，一共显示100篇文章。因此，我们设置整个“循环翻页”步骤执行5次。选中“循环翻页”步骤，打开“高级选项”，打开“满足以下条件时退出循环”，设置循环次数等于“5次”，点击“确定”搜狗微信公众号热门文章如何采集图5步骤3：创建列表循环并提取数据 HYPERLINK "/article/javascript:;" 1）移动滑鼠，选中页面里第一篇文章的区块。

　　系统会辨识此区块中的子元素，在操作提示框中，选择“选中子元素”搜狗微信公众号热门文章如何采集图62）继续选中页面中第二篇文章的区块，系统会手动选中第二篇文章中的子元素，并辨识出页面中的其他10组同类元素，在操作提示框中，选择“选中全部”搜狗微信公众号热门文章如何采集图73）我们可以看见，页面中文章区块里的所有元素均被选中，变为红色。右侧操作提示框中，出现数组预览表，将滑鼠移到表头，点击垃圾桶图标，可删掉不需要的主键。字段选择完成后，选择“采集以下数据”搜狗微信公众号热门文章如何采集图84）我们还想要采集每篇文章的URL，因而还须要提取一个主键。点击第一篇文章的链接，系统会手动选中页面中的一组文章链接。在左侧操作提示框中，选择“选中全部”搜狗微信公众号热门文章如何采集图95）选择“采集以下链接地址”搜狗微信公众号热门文章如何采集图106）字段选择完成后，选中相应的数组，可以进行数组的自定义命名搜狗微信公众号热门文章如何采集图11步骤4：修改Xpath我们继续观察，通过5次点击“加载更多内容”后，此网页加载出全部100篇文章。因而我们配置规则的思路是，先构建翻页循环，加载出全部100篇文章，再完善循环列表，提取数据1）选中整个“循环”步骤，将其拖出“循环翻页”步骤。

　　如果不进行此项操作，那么将会出现好多重复数据搜狗微信公众号热门文章如何采集图12拖动完成后，如下图所示搜狗微信公众号热门文章如何采集图13在“列表循环”步骤中，我们构建100篇文章的循环列表。选中整个“循环步骤”，打开“高级选项”，将不固定元素列表中的这条Xpath：//BODY[@id='loginWrap']/DIV[4]/DIV[1]/DIV[3]/UL[1]/LI ，复制粘贴到火狐浏览器中的相应位置搜狗微信公众号热门文章如何采集图14Xpath：是一种路径查询语言，简单的说就是借助一个路径表达式找到我们须要的数据位置。Xpath是用于XML中顺着路径查找数据用的，但是优采云采集器内部有一套针对HTML的Xpath引擎，使得直接用XPATH能够精准的查找定位网页上面的数据。3）在火狐浏览器中，我们发觉，通过这条Xpath：//BODY[@id='loginWrap']/DIV[4]/DIV[1]/DIV[3]/UL[1]/LI ，页面中被定位的是20篇文章搜狗微信公众号热门文章如何采集图154）将Xpath更改为： //BODY[@id='loginWrap']/DIV/DIV[1]/DIV[3]/UL/LI，我们发觉页面中所有要采集的文章都被定位了搜狗微信公众号热门文章如何采集图16将改好的Xpath：//BODY[@id='loginWrap']/DIV/DIV[1]/DIV[3]/UL/LI，复制粘贴到图片中所示的位置，然后点击“确定”搜狗微信公众号热门文章如何采集图176）点击左上角的“保存并启动”，选择“启动本地采集”搜狗微信公众号热门文章如何采集图18步骤5：数据采集及导入采集完成后，会跳出提示，选择“导出数据”，选择“合适的导入方法”，将采集好的搜狗陌陌文章的数据导入搜狗微信公众号热门文章如何采集图19这儿我们选择excel作为导入为格式，数据导入后如下图搜狗微信公众号热门文章如何采集图20优采云——70万用户选择的网页数据采集器。

　　1、操作简单，任何人都可以用：无需技术背景，会上网才能采集。完全可视化流程，点击滑鼠完成操作，2分钟即可快速入门。2、功能强悍，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。3、云采集，关机也可以。配置好采集任务后可死机，任务可在云端执行。庞大云采集集群24*7不间断运行，不用害怕IP被封，网络中断。4、功能免费+增值服务，可按需选择。免费版具备所有功能，能够满足用户的基本采集需求。同时设置了一些增值服务（如私有云），满足低端付费企业用户的须要。