网页视频抓取软件排行(V10及更高数据管家—增强版网络爬虫老版本对应教程)

优采云 发布时间: 2022-01-24 12:08

  网页视频抓取软件排行(V10及更高数据管家—增强版网络爬虫老版本对应教程)

  支持软件版本:V10及更高版本数据管理器-增强型网络爬虫

  旧版对应教程:V9及更低版本吉索克网络爬虫对应教程为《采集图片网址及下载图片-以途牛旅游网为例》

  即搜客数据管理器可以快速抓取网页上某个区域的所有图片或视频,并保存在本地。而不是像《采集图片网址和图片下载(二)—下载途牛多图》)中介绍的定义和示例复制规则那样下载常规图片。

  例如,京东搜索“T恤”后会得到一个列表页面。可以抓取整个列表区域中的所有图像。

  我们用这个例子来说明操作过程。视频捕获的操作是相同的。

  

  案例任务:所有图表(点击下载)

  示例 URL:%E6%A1%96&enc=utf-8&suggest=1.def.0.base&wq=txue&pvid=604cc4d250ad43828165f439a2e7d907

  采集内容:列表区域的所有图片

  1. 下载并安装 Jisoke 数据管理器

  2. 加载网页,进入任务定义模式

  在数据管理器中打开网页为采集,网页加载完毕,点击左侧边栏的“+”号进入任务定义模式。

  

  3. 设置下载图片

  点击这个列表区域中的任何图片或者文字,都会对应下面DOM窗口中的一个节点,沿着这个节点向上查找,直到有一个可以选择整个T恤列表区域的节点,然后右击当前节点,做内容映射。

  

  

  您还需要输入数据表的名称和字段的名称。(这些名称是任意的,但最好是有意义的)。

  

  在左侧的工作台上,单击“列表顶部”字段的设置

  

  检查下载图像,然后单击确定。

  

  4. 保存任务和 采集 数据

  点击测试看看会不会报错。如果没有报错,保存任务。然后单击“获取数据”按钮开始采集。

  

  5. 查看图片

  采集下载的图片一般保存在电脑DataScraperWorks目录下的PageContentDir目录下。

  

  我们有 采集 共有 111 张图片。

  

  6.设置翻页采集多页图片

  如果需要采集多页图片,可以按照教程“翻页设置”,在第3步后添加翻页设置,然后按照第4步保存任务和采集数据。

  注意,要爬取一个区域内的所有图片,一般需要滚动屏幕。在数据管家设置中,打开滚动屏幕。

  Part 1 文章: "采集 图片 URL 和下载图片--下载途牛多图" Part 2 文章: "使用网络爬虫软件自动下载网页文件"

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线