php抓取网页标签(伪造模拟客户端COOKIE登陆采集抓取远程网址相关的页面内容 )

　　php抓取网页标签(伪造模拟客户端COOKIE登陆采集抓取远程网址相关的页面内容

)

　　在正常开发中，我们经常会遇到爬取某个页面的内容，但是有时候有些页面需要登录才能访问，最常见的就是论坛，这时候我们就需要使用curl来模拟登录了。

　　以下讨论与伪造模拟客户端 cookie login采集 以爬取远程 URL 有关。通过伪造和模拟客户端cookie登录到采集爬取远程URL页面内容教程文章，内容为本站精挑细选的教程，希望对广大网友有所帮助，以下是详细内容：

　　php模拟登录

　　在正常开发中，我们经常会遇到爬取某个页面的内容，但是有时候有些页面需要登录才能访问，最常见的就是论坛，这时候我们就需要使用curl来模拟登录了。大致思路：需要先请求提取cookies并保存，然后使用保存的cookies再次发送请求，获取页面内容。我们直接看下面的代码。

　　　　<?php

　　/**

　　* Brief PHP读取Curl模拟登陆，获取cookie，带cookie进行请求

　　* Date:2016/10/20

　　* Time:9:41

　　*/

　　//设置cookie保存位置

　　$cookieFile=dirname(__FILE__).'cookie.curl.tmp';

　　//第一步：获取cookie

　　$url='https://www.hfxskyyj.com/;

　　$data=array(

　　'username'=>'aseoe',

　　'password'=>'aseoe',

　　);

　　//curl初始化

　　$ch=curl_init();

　　curl_setopt($ch,CURLOPT_URL,$url);

　　//设置为post请求

　　curl_setopt($ch,CURLOPT_POST,true);

　　//设置附带返回header信息为空

　　curl_setopt($ch,CURLOPT_HEADER,0);

　　//post数据

　　curl_setopt($ch,CURLOPT_POSTFIELDS,$data);

　　//cookie保存文件位置

　　curl_setopt($ch,CURLOPT_COOKIEJAR,$cookieFile);

　　//设置数据返回作为变量储存，而不是直接输出

　　curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);

　　//执行请求

　　$ret=curl_exec($ch);

　　//关闭连接

　　curl_close($ch);

　　//第二步：附带cookie请求需要登陆的页面

　　$url='https://www.hfxskyyj.com/';

　　//curl初始化

　　$ch=curl_init();

　　curl_setopt($ch,CURLOPT_URL,$url);

　　//设置为post请求

　　curl_setopt($ch,CURLOPT_POST,true);

　　//设置附带返回header信息为空

　　curl_setopt($ch,CURLOPT_HEADER,0);

　　//设置cookie信息文件位置，注意与第二步中的获取不同，这里是读取

　　curl_setopt($ch,CURLOPT_COOKIEFILE,$cookieFile);

　　//设置数据返回作为变量储存，而不是直接输出

　　curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);

　　//执行请求

　　$ret=curl_exec($ch);

　　//关闭连接

　　curl_close($ch);

　　//打印抓取内容

　　var_dump($ret);

　　这样，我们爬取了需要登录才能访问页面的内容。注意上面的地址只是一个例子，需要替换成你要爬取的页面的地址。

　　在正常开发中，我们经常会遇到爬取某个页面的内容，但是有时候有些页面需要登录才能访问，最常见的就是论坛，这时候我们就需要使用curl来模拟登录了。总体思路：需要先请求提取cookie并保存，再使用保存。