爬虫抓取网页数据(本节讲解第一个Python爬虫实战案例：抓取您想要的网页)

　　爬虫抓取网页数据(本节讲解第一个Python爬虫实战案例：抓取您想要的网页)

　　本节讲解第一个实际的 Python 爬虫案例：抓取你想要的网页并将其保存到本地计算机。

　　首先我们简单分析一下要编写的爬虫程序。程序可以分为以下三个部分：

　　理清逻辑后，我们就可以正式编写爬虫程序了。导入需要的模块本节内容使用urllib库编写爬虫，导入程序用到的模块如下：

　　

from urllib import request

from urllib import parse

　　拼接url地址定义了url变量，拼接url地址。代码如下：

　　

url = 'http://www.baidu.com/s?wd={}'

#想要搜索的内容

word = input('请输入搜索内容:')

params = parse.quote(word)

full_url = url.format(params)

　　向 URL 发送请求发送请求主要分为以下几个步骤：

　　代码如下：

　　

#重构请求头

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0'}

#创建请求对应

req = request.Request(url=full_url,headers=headers)

#获取响应对象

res = request.urlopen(req)

#获取响应内容

html = res.read().decode("utf-8")

　　保存为本地文件将抓取到的照片保存到本地，这里需要使用Python编程的文件IO操作，代码如下：

　　

filename = word + '.html'

with open(filename,'w', encoding='utf-8') as f:

f.write(html)

　　完整的程序如下：

　　

from urllib import request,parse

# 1.拼url地址

url = 'http://www.baidu.com/s?wd={}'

word = input('请输入搜索内容:')

params = parse.quote(word)

full_url = url.format(params)

# 2.发请求保存到本地

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0'}

req = request.Request(url=full_url,headers=headers)

res = request.urlopen(req)

html = res.read().decode('utf-8')

# 3.保存文件至当前目录

filename = word + '.html'

with open(filename,'w',encoding='utf-8') as f:

f.write(html)

　　尝试运行程序，输入编程帮助，确认搜索，就会在Pycharm当前工作目录中找到“programming help.html”文件。函数式编程修改程序 Python函数式编程可以让程序的思想更加清晰易懂。接下来，利用函数式编程的思想，对上面的代码进行修改。

　　定义相应的函数，通过调用函数执行爬虫程序。修改后的代码如下：

　　

from urllib import request

from urllib import parse

# 拼接URL地址

def get_url(word):

url = 'http://www.baidu.com/s?{}'

#此处使用urlencode()进行编码

params = parse.urlencode({'wd':word})

url = url.format(params)

return url

# 发请求,保存本地文件

def request_url(url,filename):

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0'}

# 请求对象 + 响应对象 + 提取内容

req = request.Request(url=url,headers=headers)

res = request.urlopen(req)

html = res.read().decode('utf-8')

# 保存文件至本地

  with open(filename,'w',encoding='utf-8') as f:

    f.write(html)

# 主程序入口

if __name__ == '__main__':

word = input('请输入搜索内容:')

url = get_url(word)

filename = word + '.html'

request_url(url,filename)

　　除了使用函数式编程，还可以使用面向对象的编程方法（本教程主要使用这种方法），后续内容中会介绍。