php正则函数抓取网页连接(PHP、java、javascript、python,python里重要的一部分)

优采云 发布时间: 2022-02-20 04:11

  php正则函数抓取网页连接(PHP、java、javascript、python,python里重要的一部分)

  除了C/C++,我还接触过很多流行的语言,比如PHP、java、javascript、python。其中,python可以说是操作最方便,缺点最少的语言。

  前几天想写爬虫的,但是和朋友商量后,决定过几天一起写。爬虫的一个重要部分就是爬取页面中的链接,这里我就简单实现一下。

  首先我们需要使用一个开源模块,requests。这不是python自带的模块,需要从网上下载解压安装:

  $ curl -OL https://github.com/kennethreitz/requests/zipball/master

  $ python setup.py install

  Windows用户直接点击下载。解压后,使用命令 python setup.py install 在本地安装。

  我也在慢慢翻译这个模块的文档,翻译完会上传给大家(英文版先在附件中发)。正如它的描述所说,为人类建造,为人类设计。使用起来很方便,自己看文档。最简单的,requests.get() 发送一个 get 请求。

  代码显示如下:

<p># coding:utf-8

import re

import requests

# 获取网页内容

r = requests.get('http://www.163.com')

data = r.text

# 利用正则查找所有连接

link_list =re.findall(r"(?

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线