集搜客网页抓取软件(本次讲解的翻页采集的流程(图)软件安装)

　　集搜客网页抓取软件(本次讲解的翻页采集的流程(图)软件安装)

　　请先安装爬虫软件。爬虫软件安装首先查看单页采集的内容。以微博博主首页采集为例，目标为采集博主姓名、微博内容、发帖日期、微博内容、转发数、评论数、点赞数。单页采集流程分为页面加载、内容映射、样本复制、保存规则、数据抓取四个步骤。与单页采集相比，本次讲解的翻页过程采集只增加了一步，如图-单页前三步和前三步采集 步骤相同，这里不再赘述。可以查看原文文章》【02】基础：单页采集 这意味着你可以把它翻过来。页面后继续使用当前的规则进行抓取。单击爬虫路径工作台中的定位选项。选择线索定位的首选类。（网页结构中的@id属性在每个页面上更可能是不同的，如果线索定位偏向于@id，很容易导致后续爬取翻页失败。所以一般我们手动修改选择相对稳定的@class属性作为线索定位的偏好。）下一个操作——向下滚动直到出现在网页上