python抓取网页数据(一个解决网页乱码问题分享解决模块的通用方法)

　　python抓取网页数据(一个解决网页乱码问题分享解决模块的通用方法)

　　我们经常通过python做采集网页数据的时候，会遇到一些乱码的问题。今天给大家分享一个解决乱码网页，尤其是中文网页的通用方法。在首页，我们需要安装chardet模块，可以通过easy_install或者pip安装。安装好后，我们在控制台导入模块，如果正常的话。比如我们遇到的一些ISO-8859-2也可以通过以下方法解决。直接上代码：

import urllib2

import sys

import chardet

req = urllib2.Request("http://www.163.com/")##这里可以换成http://www.baidu.com,http://www.sohu.com

content = urllib2.urlopen(req).read()

typeEncode = sys.getfilesystemencoding()##系统默认编码

infoencode = chardet.detect(content).get('encoding','utf-8')##通过第3方模块来自动提取网页的编码

html = content.decode(infoencode,'ignore').encode(typeEncode)##先转换成unicode编码，然后转换系统编码输出

print html

　　通过上面的代码，相信可以解决你的采集乱码问题。