网页视频抓取软件排行(V10及更高数据管家—增强版网络爬虫老版本对应教程)
优采云 发布时间: 2022-01-24 12:08网页视频抓取软件排行(V10及更高数据管家—增强版网络爬虫老版本对应教程)
支持软件版本:V10及更高版本数据管理器-增强型网络爬虫
旧版对应教程:V9及更低版本吉索克网络爬虫对应教程为《采集图片网址及下载图片-以途牛旅游网为例》
即搜客数据管理器可以快速抓取网页上某个区域的所有图片或视频,并保存在本地。而不是像《采集图片网址和图片下载(二)—下载途牛多图》)中介绍的定义和示例复制规则那样下载常规图片。
例如,京东搜索“T恤”后会得到一个列表页面。可以抓取整个列表区域中的所有图像。
我们用这个例子来说明操作过程。视频捕获的操作是相同的。
案例任务:所有图表(点击下载)
示例 URL:%E6%A1%96&enc=utf-8&suggest=1.def.0.base&wq=txue&pvid=604cc4d250ad43828165f439a2e7d907
采集内容:列表区域的所有图片
1. 下载并安装 Jisoke 数据管理器
2. 加载网页,进入任务定义模式
在数据管理器中打开网页为采集,网页加载完毕,点击左侧边栏的“+”号进入任务定义模式。
3. 设置下载图片
点击这个列表区域中的任何图片或者文字,都会对应下面DOM窗口中的一个节点,沿着这个节点向上查找,直到有一个可以选择整个T恤列表区域的节点,然后右击当前节点,做内容映射。
您还需要输入数据表的名称和字段的名称。(这些名称是任意的,但最好是有意义的)。
在左侧的工作台上,单击“列表顶部”字段的设置
检查下载图像,然后单击确定。
4. 保存任务和 采集 数据
点击测试看看会不会报错。如果没有报错,保存任务。然后单击“获取数据”按钮开始采集。
5. 查看图片
采集下载的图片一般保存在电脑DataScraperWorks目录下的PageContentDir目录下。
我们有 采集 共有 111 张图片。
6.设置翻页采集多页图片
如果需要采集多页图片,可以按照教程“翻页设置”,在第3步后添加翻页设置,然后按照第4步保存任务和采集数据。
注意,要爬取一个区域内的所有图片,一般需要滚动屏幕。在数据管家设置中,打开滚动屏幕。
Part 1 文章: "采集 图片 URL 和下载图片--下载途牛多图" Part 2 文章: "使用网络爬虫软件自动下载网页文件"