网页爬虫抓取百度图片(网络爬虫爬取百度图片猫的图片为案例演示(图) )

　　网页爬虫抓取百度图片(网络爬虫爬取百度图片猫的图片为案例演示(图)

)

　　网络爬虫主要分为4大板块：

　　分析具有明确目标的网页结构，

　　在网页中查找信息的地址，

　　抓取信息，

　　保存信息

　　以下以网络爬虫抓取百度图片猫的图片为例进行演示

　　项目案例：

　　爬取百度所有狗图片网站

　　步骤分析：第一步：明确目标，我们将百度的狗图片作为目标爬取，分析网页结构

　　1、输入以下网址

　　^00_1583X672&word=狗

　　

　　2、选择下一页时，只有pn和gsm值发生了变化。

　　

　　

　　到目前为止，我所知道的是：pn参数代表页数； word参数自然是关键词，需要转换编码格式。

　　gsm 的值，随意更改似乎没有任何作用。有句话说gsm:代表pn的十六进制值

　　3、可以拼接出页面请求的URL，代码如下

　　import sys

import urllib

import requests

def getPage(keyword, page, n):

page = page * n

keyword = urllib.parse.quote(keyword, safe='/')

url_begin = "http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word="

url = url_begin + keyword + "&pn=" + str(page) + "&gsm=" + str(hex(page)) + "&ct=&ic=0&lm=-1&width=0&height=0"

return url

　　第二步：在网页中查找图片地址

　　1、右键查看网页源代码，分析JSON数据可以看到objURL字段代表原图的下载路径

　　

　　2、根据URL地址，获取图片地址的代码为：

　　def get_onepage_urls(onepageurl):

try:

html = requests.get(onepageurl).text

except Exception as e:

print(e)

pic_urls = []

return pic_urls

pic_urls = re.findall('"objURL":"(.*?)",', html, re.S)

return pic_urls

　　三、爬取图片并保存

　　def down_pic(pic_urls):

"""给出图片链接列表, 下载所有图片"""

for i, pic_url in enumerate(pic_urls):

try:

pic = requests.get(pic_url, timeout=15)

string = 'data2/'+str(i + 1) + '.jpg'

with open(string, 'wb') as f:

f.write(pic.content)

print('成功下载第%s张图片: %s' % (str(i + 1), str(pic_url)))

except Exception as e:

print('下载第%s张图片时失败: %s' % (str(i + 1), str(pic_url)))

print(e)

continue

　　四、调用函数

　　if __name__ == '__main__':

keyword = '狗' # 关键词, 改为你想输入的词即可, 相当于在百度图片里搜索一样

page_begin = 0

page_number = 30

image_number = 3

all_pic_urls = []

while 1:

if page_begin > image_number:

break

print("第%d次请求数据", [page_begin])

url = getPage(keyword, page_begin, page_number)

onepage_urls = get_onepage_urls(url)

page_begin += 1

all_pic_urls.extend(onepage_urls)

down_pic(list(set(all_pic_urls)))