Python爬虫借助cookie实现模拟登录实例解读

　　Cookie，指个别网站为了分辨用户身分、进行session跟踪而存储在用户本地终端上的数据（通常经过加密）。

　　举个事例，某些网站是须要登陆后就能得到你想要的信息的，不登录只能是旅客模式，那么我们可以借助Urllib2库保存我们曾经登陆过的Cookie，之后载入cookie获取我们想要的页面，然后再进行抓取。理解cookie主要是为我们快捷模拟登陆抓取目标网页作出打算。

　　我之前的贴子中使用过urlopen()这个函数来打开网页进行抓取，这仅仅只是一个简单的Python网页打开器，其参数也仅有urlopen(url,data,timeout),这三个参数对于我们获取目标网页的cookie是远远不够的。这时候我们就要借助到另外一种Opener——CookieJar。

　　cookielib也是Python进行爬虫的一个重要模块python爬虫模拟登录python爬虫模拟登录，他能与urllib2互相结合一起爬取想要的内容。该模块的CookieJar类的对象可以捕获cookie并在后续联接恳求时重新发送，这样就可以实现我们所须要的模拟登陆功能。

　　这里非常说明一下，cookielib是在py2.7中自带的模块，无需重新安装，想要查看其自带模块可以查看Python目录下的Lib文件夹，里面有所有安装的模块。我一开始没想起来，在pycharm中居然没有搜到cookielib,使用了快捷安装也报错：Couldn't find index page for 'Cookielib' (maybe misspelled?)

　　之后才想起来是不是自带的就有，没想到去lib文件夹一看还真有，白白浪费半个小时各类瞎折腾~~

　　下面我们就来介绍一下这个模块，该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。

　　它们的关系：CookieJar —-派生—->FileCookieJar —-派生—–>MozillaCookieJar和LWPCookieJar 主要用法，我们下边也会提到。urllib2.urlopen()函数不支持验证、cookie或则其它HTTP中级功能。要支持这种功能，必须使用build_opener()（可以用于使python程序模拟浏览器进行访问，作用你懂得~）函数创建自定义Opener对象。

　　1、首先我们就来获取一下网站的cookie

　　例子：

#coding=utf-8

import cookielib

import urllib2

mycookie = cookielib.CookieJar() #声明一个CookieJar的类对象保存cookie(注意CookieJar的大小写问题)

handler = urllib2.HTTPCookieProcessor(mycookie) #利用urllib2库中的HTTPCookieProcessor来声明一个处理cookie的处理器

opener = urllib2.build_opener(handler) #利用handler来构造opener，opener的用法和urlopen()类似

response = opener.open("http://www.baidu.com") #opener返回的一个应答对象response

for item in my.cookie:

print"name="+item.name

print"value="+item.value

　　结果：

name=BAIDUID

value=73BD718962A6EA0DAD4CB9578A08FDD0:FG=1

name=BIDUPSID

value=73BD718962A6EA0DAD4CB9578A08FDD0

name=H_PS_PSSID

value=1450_19035_21122_17001_21454_21409_21394_21377_21526_21189_21398

name=PSTM

value=1478834132

name=BDSVRTM

value=0

name=BD_HOME

value=0

　　这样我们就得到了一个最简单的cookie。

　　2、将cookie保存到文件

　　上面我们得到了cookie,下面我们学习怎么保存cookie。在这里我们使用它的泛型MozillaCookieJar来实现Cookie的保存

　　例子：

#coding=utf-8

import cookielib

import urllib2

mycookie = cookielib.MozillaCookieJar() #声明一个MozillaCookieJar的类对象保存cookie(注意MozillaCookieJar的大小写问题)

handler = urllib2.HTTPCookieProcessor(mycookie) #利用urllib2库中的HTTPCookieProcessor来声明一个处理cookie的处理器

opener = urllib2.build_opener(handler) #利用handler来构造opener，opener的用法和urlopen()类似

response = opener.open("http://www.baidu.com") #opener返回的一个应答对象response

for item in mycookie:

print"name="+item.name

print"value="+item.value

filename='mycookie.txt'#设定保存的文件名

mycookie.save(filename,ignore_discard=True, ignore_expires=True)

　　将里面的事例简单变型就可以得到本例，使用了CookieJar的泛型MozillaCookiJar,为什么呢？我们将MozillaCookiJar换成CookieJar试试，下面一张图你能够明白：

　　CookieJar是没有保存save属性的~

　　save()这个方式中：ignore_discard的意思是虽然cookies将被遗弃也将它保存出来，ignore_expires的意思是假如在该文件中cookies早已存在，则覆盖原文件写入，在这里，我们将这两个全部设置为True。运行以后，cookies将被保存到cookie.txt文件中，我们查看一下内容：

　　这样我们就成功保存了我们想要的cookie

　　3、从文件中获取cookie并访问