抓取网页数据工具(爬取网页图片步骤及应用)

　　抓取网页数据工具(爬取网页图片步骤及应用)

　　抓取网页数据工具：如果想要爬取网页中的图片，目录：图片class120.jpg大小：图片1.32mb,class204.jpg大小：图片1.22mb1.实现1.requests库requests库是一个python提供的异步请求库，官方教程：requestshelloworld爬取网页图片步骤如下：1.获取图片路径2.获取图片class3.解析图片所在class列表1.获取图片路径：2.获取图片class：我们先从class="h"中查看对应的图片类型为：class120.jpg我们先从对应的图片class中获取：data=requests.get("")data=data.decode("utf-8")（对应图片类型为：png,jpg）3.解析图片所在列表：我们先从对应的列表中获取：data=requests.get("")data=data.decode("utf-8")（对应图片类型为：image）好了，解析图片所在列表已经完成。

　　接下来我们操作下代码：接下来我们操作，获取图片class，关键语句如下：1.获取图片class我们首先来看看获取图片class方法：data=requests.get("")data=data.decode("utf-8")我们先看看怎么获取图片class，上面是从图片class中获取，代码如下：data=requests.get("")data=data.decode("utf-8")代码不是很多，你可以看出他返回的是一个png图片的数组。

　　我们再看一下怎么从图片列表中提取class：fromlxmlimportetreedata=etree.html(data)我们先查看下etree模块中etree的文档：[etree.html]importetreefrommultiprocessingimportpoolimportredefetree_from_lxml(en):asserten=="e-rate"asserten=="thejpg"asserten=="thepng"asserten=="theimage"asserten=="thesimilarscreenshots."asserten=="anditdoes"..return"".join(en)asserten=="e-rate"asserten=="thejpg"asserten=="thepng"asserten=="andtheimage"asserten=="ande-rate"asserten=="thejpg"asserten=="thee-rate"asserten=="thesimilarscreenshots."asserten=="anditdoes"..return"".join(en)if__name__=="__main__":data=etree_from_lxml()print("success")这样我们成功提取class之后，再看下最终提取的结果：fromlxmlimportetreefrommultiprocessingimportpoolimportredefetree_from_lx。