网页爬虫抓取百度图片(《Python项目案例开发从入门到实战》（清华大学出版社郑秋生夏敏捷主编）中爬虫应用)

　　网页爬虫抓取百度图片(《Python项目案例开发从入门到实战》（清华大学出版社郑秋生夏敏捷主编）中爬虫应用)

　　标签：宽度标签，除了按 defmic 源 %sapp

　　摘自《Python项目案例开发从入门到实战》（清华大学出版社郑秋生夏敏捷主编）在爬虫应用-抓百度图片

　　爬取指定网页中的图片，需要经过以下三个步骤：

　　（1）指定网站的链接，抓取网站的源码（如果使用google浏览器，鼠标右键->Inspect->Elements中的html内容）

　　(2）设置正则表达式来匹配你要抓取的内容

　　(3）设置循环列表，反复抓取和保存内容

　　实现爬取指定网页中图片的代码如下：

　　 1 # 第一个简单的爬取图片的程序

2 import urllib.request # python自带的爬操作url的库

3 import re # 正则表达式

4

5

6 # 该方法传入url,返回url的html的源代码

7 def getHtmlCode(url):

8 # 以下几行注释的代码在本程序中有加没加效果一样

9 # headers = {

10 # ‘User-Agent‘: ‘Mozilla/5.0(Linux; Android 6.0; Nexus 5 Build/MRA58N) \

11 # AppleWebKit/537.36(KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36‘

12 # }

13 # # 将headers头部添加到url，模拟浏览器访问

14 # url = urllib.request.Request(url, headers=headers)

15

16 # 将url页面的源代码保存成字符串

17 page = urllib.request.urlopen(url).read()

18 # 字符串转码

19 page = page.decode(‘UTF-8‘)

20 return page

21

22

23 # 该方法传入html的源代码，通过截取其中的img标签，将图片保存到本机

24 def getImage(page):

25 # [^\s]*? 表示最小匹配， 两个括号表示列表中有两个元组

26 imageList = re.findall(r‘(https:[^\s]*?(jpg|png|gif))"‘, page)

27 x = 0

28 # 循环列表

29 for imageUrl in imageList:

30 try:

31 print(‘正在下载: %s‘ % imageUrl[0])

32 # 这个image文件夹需要先创建好才能看到结果

33 image_save_path = ‘./image/%d.png‘ % x

34 # 下载图片并且保存到指定文件夹中

35 urllib.request.urlretrieve(imageUrl[0], image_save_path)

36 x = x + 1

37 except:

38 continue

39

40 pass

41

42

43 if __name__ == ‘__main__‘:

44 # 指定要爬取的网站

45 url = "https://www.cnblogs.com/ttweixiao-IT-program/p/13324826.html"

46 # 得到该网站的源代码

47 page = getHtmlCode(url)

48 # 爬取该网站的图片并且保存

49 getImage(page)

50 # print(page)

　　注意代码中需要修改的是 imageList = re.findall(r'(https:[^\s]*?(jpg|png|gif))"', page) 这段内容，怎么设计正则表达式需要根据你要抓取的内容设置，我的设计来源如下：

　　可以看到，因为这个网页上的图片都是png格式的，所以也可以写成imageList = re.findall(r'(https:[^\s]*?(png))"', page) .

　　python爬取指定页面中的图片

　　标签：宽度标签，除了按 defmic 源 %sapp