python网页数据抓取(Python3教程Pythonurllib库用于操作URL抓取网页的抓取处理)

　　python网页数据抓取(Python3教程Pythonurllib库用于操作URL抓取网页的抓取处理)

　　Python3教程

　　Python urllib 库用于操作网页的 URL 并获取网页的内容。

　　本文主要介绍Python3的urllib。

　　urllib 包收录以下模块：

　　

　　urllib.request

　　urllib.request 定义了一些打开 URL 的函数和类，包括授权验证、重定向、浏览器 cookie 等。

　　urllib.request 可以模拟浏览器发起请求的过程。

　　我们可以使用 urllib.request 的 urlopen 方法打开一个 URL，语法格式如下：

　　urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

　　示例代码

　　from urllib.request import urlopen

myURL = urlopen("https://www.runoon.com/")

print(myURL.read())

　　上面的代码使用 urlopen 打开一个 URL，然后使用 read() 函数获取网页的 HTML 实体代码。

　　read() 是读取整个网页内容，我们可以指定读取的长度：

　　from urllib.request import urlopen

myURL = urlopen("https://www.runoon.com/")

print(myURL.read(300))

　　除了 read() 函数之外，它还收录以下两个函数来读取网页内容：

　　from urllib.request import urlopen

myURL = urlopen("https://www.runoon.com/")

print(myURL.readline()) #读取一行内容

　　readlines() - 读取文件的全部内容，它将读取的内容分配给一个列表变量。

　　from urllib.request import urlopen

myURL = urlopen("https://www.runoon.com/")

lines = myURL.readlines()

for line in lines:

print(line)

　　我们在抓取网页的时候，经常需要判断网页是否可以正常访问，这里可以使用getcode()函数获取网页状态码，返回200表示网页正常，返回404表示该网页不存在：

　　import urllib.request

myURL1 = urllib.request.urlopen("https://www.runoon.com/")

print(myURL1.getcode()) # 200

try:

myURL2 = urllib.request.urlopen("https://www.runoon.com/no.html")

except urllib.error.HTTPError as e:

if e.code == 404:

print(404) # 404

　　如果想将抓取到的网页保留在本地，可以使用该功能：

　　from urllib.request import urlopen

myURL = urlopen("https://www.runoon.com/")

f = open("runoon_urllib_test.html", "wb")

content = myURL.read() # 读取网页内容

f.write(content)

f.close()

　　执行上面的代码会在本地生成一个runoon_urllib_test.html文件，里面收录了网页的内容。

　　更多Python文件处理请参考：

　　URL 编码和解码可以使用 urllib.request.quote() 和 urllib.request.unquote() 方法：

　　import urllib.request

encode_url = urllib.request.quote("https://www.runoon.com/")  # 编码

print(encode_url)

unencode_url = urllib.request.unquote(encode_url)    # 解码

print(unencode_url)

　　输出是：

　　https%3A//www.runoon.com/

https://www.runoon.com/

　　模拟头部信息

　　我们一般在爬取网页的时候需要模拟headers（网页头信息）。这时候就需要用到 urllib.request.Request 类：

　　class urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

　　示例代码（py3_urllib_test.php 文件代码）

　　import urllib.request

import urllib.parse

url = 'https://www.runoon.com/?s='  # 奔月教程搜索页面

keyword = 'Python 教程'

key_code = urllib.request.quote(keyword)  # 对请求进行编码

url_all = url+key_code

header = {

    'User-Agent':'Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36' }   #头部信息

request = urllib.request.Request(url_all,headers=header)

reponse = urllib.request.urlopen(request).read()

fh = open("./urllib_test_runoon_search.html","wb")    # 将文件写入到当前目录中

fh.write(reponse)

fh.close()

　　表单POST传输数据，我们先创建一个表单，代码如下，这里我使用PHP代码来获取表单的数据：

　　

奔月教程(runoon.com) urllib POST 测试

Name:

Tag:

　　示例代码

　　import urllib.request

import urllib.parse

url = 'https://www.runoon.com/try/py3/py3_urllib_test.php' # 提交到表单页面

data = {'name':'RUNOON', 'tag' : '奔月教程'} # 提交数据

header = {

'User-Agent':'Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'

} #头部信息

data = urllib.parse.urlencode(data).encode('utf8') # 对参数进行编码，解码使用 urllib.parse.urldecode

request=urllib.request.Request(url, data, header) # 请求处理

reponse=urllib.request.urlopen(request).read() # 读取结果

fh = open("./urllib_test_post_runoon.html","wb") # 将文件写入到当前目录中

fh.write(reponse)

fh.close()

　　打开urllib_test_post_runoon.html文件（可以用浏览器打开），显示结果如下：

　　

　　urllib.error

　　urllib.error 模块定义了 urllib.request 引发的异常的异常类，基本异常类是 URLError。

　　urllib.error 收录两个方法，URLError 和 HTTPError。

　　URLError 是 OSError 的子类。它用于处理程序在遇到问题时引发此异常（或其派生异常）。其中收录的属性原因就是异常的原因。

　　HTTPError 是 URLError 的子类。它用于处理特殊的 HTTP 错误。例如，作为鉴权请求时，收录的属性码为HTTP状态码，reason为异常原因，headers为导致HTTPError的特定HTTP请求的HTTP响应头。.

　　抓取不存在的网页并处理异常：

　　import urllib.request

import urllib.error

myURL1 = urllib.request.urlopen("https://www.runoon.com/")

print(myURL1.getcode())   # 200

try:    

myURL2 = urllib.request.urlopen("https://www.runoon.com/no.html")

except urllib.error.HTTPError as e:    

if e.code == 404:        

print(404)   # 404

　　urllib.parse

　　urllib.parse 用于解析以下格式的 URL：

　　urllib.parse.urlparse（urlstring，scheme=”，allow_fragments=True）

　　urlstring是字符串的url地址，scheme是协议类型，

　　如果allow_fragments 参数为false，则无法识别片段标识符。相反，它们被解析为路径、参数或查询组件的一部分，并且片段在返回值中设置为空字符串。

　　示例代码

　　from urllib.parse import urlparse

o = urlparse("https://www.runoon.com/?s=python+%E6%95%99%E7%A8%8B")

print(o)

　　上面例子的输出是：

　　ParseResult(scheme='https', netloc='www.runoon.com', path='/', params='', query='s=python+%E6%95%99%E7%A8%8B', fragment='')

　　从结果可以看出内容是一个元组，收录6个字符串：协议、位置、路径、参数、查询、判断。

　　我们可以直接阅读协议内容：

　　from urllib.parse import urlparse

o = urlparse("https://www.runoon.com/?s=python+%E6%95%99%E7%A8%8B")

print(o.scheme)

　　上面例子的输出是：

　　https

　　完整内容如下：

　　属性

　　指数

　　价值

　　值（如果不存在）

　　方案

　　网址协议

　　方案参数

　　网路

　　1

　　网络位置部分

　　空字符串

　　小路

　　2

　　分层路径

　　空字符串

　　参数

　　3

　　最后一个路径元素的参数

　　空字符串

　　询问

　　4

　　查询组件

　　空字符串

　　分段

　　5

　　片段识别

　　空字符串

　　用户名

　　用户名

　　没有任何

　　密码

　　密码

　　没有任何

　　主机名

　　主机名（小写）

　　没有任何

　　港口

　　端口号是一个整数（如果存在）

　　没有任何

　　urllib.robotparser

　　urllib.robotparser 用于解析 robots.txt 文件。

　　robots.txt（统一小写）是存放在网站根目录下的robots协议，通常用来告诉搜索引擎网站的爬取规则。

　　urllib.robotparser 提供 RobotFileParser 类，语法如下：

　　类 urllib.robotparser.RobotFileParser(url=”)

　　这个类提供了一些可以读取和解析robots.txt文件的方法：

　　示例代码

　　>>> import urllib.robotparser

>>> rp = urllib.robotparser.RobotFileParser()

>>> rp.set_url("http://www.musi-cal.com/robots.txt")

>>> rp.read()

>>> rrate = rp.request_rate("*")

>>> rrate.requests

3

>>> rrate.seconds

20

>>> rp.crawl_delay("*")

6

>>> rp.can_fetch("*", "http://www.musi-cal.com/cgi-bin/search?city=San+Francisco")

False

>>> rp.can_fetch("*", "http://www.musi-cal.com/")

True

　　Python3教程