python抓取网页数据( ,本文开源模块requests实现需求,,)

　　python抓取网页数据(

,本文开源模块requests实现需求,,)

　　Python实现抓取页面链接的简单爬虫分享

　　更新时间：2015-01-21 11:46:34 投稿：俊杰

　　本文文章主要介绍Python爬取页面上链接的简单爬虫分享。本文使用一个开源模块请求来实现需求。有需要的朋友可以参考

　　除了C/C++，我还接触过很多流行的语言，PHP、java、javascript、python，其中python可以说是操作最方便、缺点最少的语言。

　　前几天想写个爬虫，但是和朋友商量后，决定过几天再一起写。爬虫的一个重要部分是抓取页面中的链接。我将在这里简单地实现它。

　　首先，我们需要使用一个开源模块，requests。这不是python自带的模块，需要从网上下载解压安装：

　　复制代码代码如下：

　　$ curl -OL

　　$ python setup.py 安装

　　Windows用户直接点击下载。解压后在本地使用命令python setup.py install进行安装。

　　我也在慢慢翻译这个模块的文档，翻译完后传给大家（英文版先发在附件里）。正如其描述中所述，为人类而设计，为人类而设计。使用起来很方便，自己看文档。最简单的 requests.get() 是发送一个 get 请求。

　　代码显示如下：

　　复制代码代码如下：

　　# 编码：utf-8

　　*敏*感*词*重新

　　*敏*感*词*请求

　　# 获取网页内容

　　r = requests.get('')

　　数据 = r.text

　　# 使用正则查找所有连接

　　link_list =re.findall(r"(?