php网页抓取工具( Python页面抓取过程中乱码的原因与相应的解决方法)

　　php网页抓取工具(

Python页面抓取过程中乱码的原因与相应的解决方法)

　　python爬取保存html页面时出现乱码问题的解决方法

　　更新时间：2016-07-01 11:23:47 作者：holybin

　　本篇文章主要介绍python爬取保存html页面时出现乱码问题的解决方法，结合实例分析爬取Python页面过程中出现乱码的原因及相应的解决方法。需要的朋友可以参考下

　　本文示例介绍了python爬取保存html页面时出现乱码问题的解决方法。分享给大家参考，详情如下：

　　使用Python爬取html页面并保存时，经常会出现爬取的网页内容乱码的问题。出现这个问题的原因，一方面是你自己代码中的编码设置有问题，另一方面是在编码设置正确的情况下，网页的实际编码不匹配标记编码。html页面上显示的编码在这里：

　　复制代码代码如下：

　　这里有一个简单的解决方案：使用chardet判断网页的真实代码，同时从url请求返回的信息中判断代码。如果两种编码不同，使用bs模块扩展为GB18030编码；如果相同，直接写入文件（系统默认编码设置为utf-8）.

　　import urllib2

import sys

import bs4

import chardet

reload(sys)

sys.setdefaultencoding('utf-8')

def download(url):

htmlfile = open('test.html','w')

try:

result = urllib2.urlopen(url)

content = result.read()

info = result.info()

result.close()

except Exception,e:

print 'download error!!!'

print e

else:

if content != None:

charset1 = (chardet.detect(content))['encoding'] #real encoding type

charset2 = info.getparam('charset') #declared encoding type

print charset1,' ', charset2

# case1: charset is not None.

if charset1 != None and charset2 != None and charset1.lower() != charset2.lower():

newcont = bs4.BeautifulSoup(content, from_encoding='GB18030') #coding: GB18030

for cont in newcont:

htmlfile.write('%s\n'%cont)

# case2: either charset is None, or charset is the same.

else:

#print sys.getdefaultencoding()

htmlfile.write(content) #default coding: utf-8

htmlfile.close()

if __name__ == "__main__":

url = 'https://www.jb51.net'

download(url)

　　得到的test.html文件打开如下，可以看到它是以UTF-8存储的，没有BOM编码格式，也就是我们设置的默认编码：

　　

　　对Python相关内容比较感兴趣的读者可以查看本站专题：《Python编码操作技巧总结》、《Python图片操作技巧总结》、《Python数据结构与算法教程》、《Python套接字编程》 《技能总结》、《Python Socket编程技能总结》、《Python函数使用技巧总结》、《Python字符串操作技巧总结》、《Python入门与进阶经典教程》、《Python文件和目录操作技巧总结》

　　希望这篇文章对大家Python编程有所帮助。