网页抓取qq(阿八个人博客网站--本站)

　　网页抓取qq(阿八个人博客网站--本站)

　　欢迎来到阿霸的个人博客网站。Ben Aba 的个​​人博客网站 提供最新的站长新闻和各种互联网信息。喜欢本站的朋友可以采集本站，或者加QQ：大家一起交流技术！网址链接：

　　除了C/C++，我还接触过很多流行的语言，比如PHP、java、javascript、python。其中，python可以说是操作最方便，缺点最少的语言。

　　前几天想写爬虫的，但是和朋友商量后，决定过几天一起写。爬虫的一个重要部分就是爬取页面中的链接，这里我就简单实现一下。

　　首先我们需要使用一个开源模块，requests。这不是python自带的模块，需要从网上下载解压安装：

　　brush: bash;auto-links: false;">$ curl -OL https://github.com/kennethreitz/requests/zipball/master

　　brush: bash;auto-links: false;">$ python setup.py install

　　Windows用户直接点击下载。解压后，使用命令 python setup.py install 在本地安装。

　　我也在慢慢翻译这个模块的文档，翻译完会上传给大家（英文版先在附件中发）。正如它的描述所说，为人类建造，为人类设计。使用起来很方便，自己看文档。最简单的，requests.get() 发送一个 get 请求。

　　代码显示如下：

<p>brush: python;auto-links: false;"># coding:utf-8import reimport requests# 获取网页内容r = requests.get('http://www.163.com')data = r.text# 利用正则查找所有连接link_list =re.findall(r"(?