抓取网页数据php-web开发常用前端方法：获取页面请求头

　　抓取网页数据php-web开发常用前端方法：获取页面请求头

　　抓取网页数据php-web开发常用前端方法：获取页面请求头、获取http响应的cookie、ajax动态请求，

　　1){req=request.session();response=req.cookie;}else{req=request.get(request.url);response=req.get(request.url);}爬虫全流程爬虫第一步,数据传递：

　　1、可以使用urllib2和beautifulsoupapi，同样安装framework。

　　2、有了urllib2和beautifulsoup以后，首先要做相应的配置，如果使用本地库的话，就稍后我们要写的配置信息。

　　3、配置好以后，就可以进行代码的编写了。

　　注意：1.这里涉及到json格式数据的获取：

　　1)传入参数解析：通过配置项，这是后端负责的事情，我们需要配置一个jsonlib2进去，如果遇到复杂的请求，

　　2)post和get对象请求转换。这是本地库负责的事情，我们需要配置一个postlib2进去，不转换请求内容，

　　3)响应请求内容，会对json对象进行解析，得到解析之后的对象，如果看不懂，

　　1)把原始网页的数据源带到爬虫上，在此之前，要弄清楚一点就是网页上的数据原来是什么，

　　2)为了让抓取的数据能直接被用户（直接使用python进行浏览器，如flask中也是原始网页，还要我们解析)浏览器看见，

　　3)根据项目需求，把需要多看的需要抓取的数据文件，进行封装，并存入list中，

　　4)post请求：获取数据时候就用到了post请求，写的方法是获取一个链接，返回的http数据就是base64值，

　　5)get请求：需要第三方中间件封装，就是浏览器中的一个标签，然后我们把数据解析之后，再封装成一个数据文件，

　　一、beautifulsoup框架

　　1)beautifulsoup使用环境：jdk1.8+

　　2)获取请求头beautifulsoup对象：["request-encoding"]，beautifulsoup-documents:["request-encoding"]获取请求参数beautifulsoup解析beautifulsoup对象：["authorization"]，dom-extract：获取到请求头，然后解析一次。

　　3)获取http响应数据对象（base64文件）#爬虫flask库中我使用了base64格式的数据对象来封装响应返回给用户（数据文件封装）base64util：["base64util。filename"]初始化base64util对象base64util。initialize()definitialize(。