php正则函数抓取网页连接(世纪佳缘网应用python伪装成自动登陆世纪网)

　　php正则函数抓取网页连接(世纪佳缘网应用python伪装成自动登陆世纪网)

　　(2)应用python伪装成浏览器自动登录佳园网，并添加变量打开多个网页。(3)通过python的urllib2函数获取佳园网源码。

　　(4)用正则表达式分析源码，找到需要的信息并导入excel。

　　(5)连接数据库，将爬升的数据存入数据库。

　　1.此编程设计应满足的3个要求

　　1、为特定爬取特定数据网站;

　　2、 实现代码并得到结果；

　　3、能够连接数据库，将爬升的数据存储在数据库中。

　　4、将爬升的数据存储在excel中，方便编辑。

　　2 程序设计

　　2.1 爬取方案

　　以佳源网为例，要爬取的数据是在佳源网注册的人的用户名、真实姓名、性别、年龄、*敏*感*词*、月收入。

　　爬虫的主要处理对象是URL。它根据 URL 地址获取所需的文件内容，然后进一步处理。因此，准确理解 URL 对于理解网络爬虫至关重要。

　　URL 是 URI 的子集。它是Uniform Resource Locator的缩写，翻译为“统一资源定位器”。

　　通俗的讲，URL是描述Internet上信息资源的字符串，主要用于各种WWW客户端程序和服务器程序中。使用 URL 可以使用统一的格式来描述各种信息资源，包括文件、服务器地址和目录。URL的格式由三部分组成：

　　①第一部分是协议（或服务模式）。

　　②第二部分是存储资源的主机的IP地址（有时还包括端口号）。

　　③ 第三部分是宿主资源的具体地址，如目录、文件名等。

　　第一部分和第二部分用“://”符号分隔，

　　第二部分和第三部分用“/”符号分隔。

　　第一部分和第二部分缺一不可，第三部分有时可以省略。

　　Python可以使用urllib或者urllib2函数来获取网页的源代码，非常方便快捷。代码如下：import urllib2

　　回应 =

　　html = response.read()

　　打印html

　　2.1.3 应用python伪装成浏览器自动登录佳缘网，并添加变量打开多个网页。

　　有了源码就可以爬取数据了，但是因为佳源网最近改版了，简单的爬虫程序已经不能爬取整个网页了。因此，在获取数据之前，需要对爬虫进行伪装，使其成为浏览器，实现全网页