网页爬虫抓取百度图片(图片的批量抓取是爬虫批处理的典型例子，使用Python实现批量获取图片 )

　　网页爬虫抓取百度图片(图片的批量抓取是爬虫批处理的典型例子，使用Python实现批量获取图片

)

　　图片批量抓取是爬虫批量处理的典型例子。这里我们使用煎蛋网的美图作为抓图对象，使用Python批量获取图片。

　　批量爬虫

　　import urllib.request

import os

import random

# 打开网页

def url_open(url):

req = urllib.request.Request(url)

req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')

response = urllib.request.urlopen(url)

html = response.read()

return html

# 找到网页地址

def get_page(url):

html = url_open(url).decode('utf-8')

a = html.find('current-comment-page') + 23

b = html.find(']',a)

print (html[a:b])

return html[a:b]

# 找到图片的地址

def find_imgs(url):

html = url_open(url).decode('utf-8')

img_addrs = []

a = html.find('img src=')

while a != -1:

b = html.find('.jpg', a , a + 255)

if b != -1:

img_addrs.append('http:' + html[a+9:b+4])

else:

b = a + 9

a = html.find('img src=',b)

return img_addrs

# 保存图片

def save_imgs(folder,img_addrs):

i = 1

for each in img_addrs:

img = url_open(each)

# pic_name = str(i) + '.jpg'

pic_name = each.split('/')[-1]

with open(pic_name,'wb') as f:

f.write(img)

i += 1

return i

# 下载图片的主函数

def download_pic(folder = 'mm',pages = 10):

os.mkdir(folder)

os.chdir(folder)

count = 0

url = 'http://jandan.net/ooxx'

page_num = int(get_page(url))

for i in range(pages):

page_num -= i

page_url = 'http://jandan.net/ooxx/' + '' + str(page_num) + '#comments'

img_addrs = find_imgs(page_url)

for each in img_addrs:

print(each)

count += save_imgs(folder,img_addrs)

print('总共图片数量：%d' %count)

# 主函数入口

if __name__ == '__main__':

download_pic()

　　批量生成网址

　　编写爬虫要根据不同的网站改变，观察网站的html结构。以这个网址为例，访问第一页和下一页：

　　

　　

　　在这里，您可以在 URL 中看到 page-190。根据这个参数可以设置访问不同的网页，即我们通常访问的下一页和上一页。 网站获取不同页面URL（page_url）对应的代码如下：

　　

# 找到网页地址

def get_page(url):

html = url_open(url).decode('utf-8')

a = html.find('current-comment-page') + 23

b = html.find(']',a)

print (html[a:b])

return html[a:b]

url = 'http://jandan.net/ooxx'

# 获取首页 page_num

page_num = int(get_page(url))

# 根据url格式编辑想要访问页面的url

for i in range(pages):

page_num -= i

page_url = 'http://jandan.net/ooxx/' + '' + str(page_num) + '#comments'

img_addrs = find_imgs(page_url)

for each in img_addrs:

print(each)

　　在 HTML 中查找图像的 URL

　　在每张图片上选择---View Element，查看对应图片的URL在网页的HTML中是什么样子的：

　　

　　可以看到图片对应的标签是：

　　我们需要将内容从//剪切成.jpg，代码如下：

　　# 找到图片的地址，从a开始，到b结束，如果找到，则添加在img_addrs[]的列表中，

# 其中的 a+9 和 b+4 是计算好的偏移量

def find_imgs(url):

html = url_open(url).decode('utf-8')

img_addrs = []

a = html.find('img src=')

while a != -1:

# 从 a 开始往后查找，查找结束位置为 a+255 ，即一个url的长度

b = html.find('.jpg', a , a + 255)

if b != -1:

img_addrs.append('http:' + html[a+9:b+4])

else:

b = a + 9

a = html.find('img src=',b)

return img_addrs