php curl抓取网页指定内容(就是一个请求中存在重定向的时候获取请求返回头信息 )

　　php curl抓取网页指定内容(就是一个请求中存在重定向的时候获取请求返回头信息

)

　　在使用curl抓取网页内容时，往往需要知道网页返回的请求头信息和请求的相关信息，尤其是在请求过程中有重定向获取请求返回的时候头信息对分析请求内容很有帮助

　　以下是请求中的重定向示例。我们的目的是获取最终实际请求的url地址

　　$url='http://www.appchina.com/market/r/489267/com.appshare.android.ilisten.vapk?c=aplus.direct&uid=gAJ9cQEu1TlyZxsXN-aB4RaanvFL6t6Bj-vj0rIBs&p=aplus.detail&m=redirect';

$ch=curl_init();

curl_setopt($ch, CURLOPT_URL, $url);

//curl_setopt($ch, CURLOPT_POST, 1);

//curl_setopt($ch, CURLOPT_POSTFIELDS, $params);

curl_setopt($ch, CURLOPT_HEADER, 1);//返回response头部信息

curl_setopt($ch, CURLOPT_NOBODY, 1);//不返回response body内容

//curl_setopt($ch, CURLOPT_MAXREDIRS, 1);//设置请求最多重定向的次数

curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);//不直接输出response

curl_setopt($ch, CURLOPT_FOLLOWLOCATION,1);//如果返回的response 头部中存在Location值，就会递归请求

$content=curl_exec($ch);

$rinfo=curl_getinfo($ch);

echo $content,"</br>";

echo "";

print_r($rinfo);

　　以下是输出结果 HTTP/1.1 200 OKServer: nginxDate: Sat, 22 Dec 2012 06:17:44 GMTContent-Type: application/vnd.android.package-archiveConnection: closeLast-Modified: 2012 年 12 月 3 日星期一 16:00:00 GMT 过期时间：2013 年 12 月 3 日星期二 16:00:00 GMTCache-Control: max-age=31536000Content-Length: 2142149

　　Array( [url] => [content_type] => application/vnd.android.package-archive [http_code] => 200 [header_size] => 289 [request_size] => 196 [filetime] => -1 [ ssl_verify_result] => 0 [redirect_count] => 0 [total_time] => 0.171621 [namelookup_time] => 0.135256 [connect_time] => 0.152913 [pretransfer_time] => < @0.152916 [size_upload] => 0 [size_download] => 0 [speed_download] => 0 [speed_upload] => 0 [download_content_length] => 2142149 [upload_content_length] => 0 [starttransfer_time] => 0.@ >171582 [redirect_time] => 0 [certinfo] => Array())

　　可以看到，递归请求后，最终得到了200的响应，但是这个方法无法获取到最后一个请求的url，也就是最终实际请求的url。获取这个url需要递归分析每个请求返回的响应

　　下面是我写的一个递归函数，用来获取最后一个请求的url

　　$url='http://www.appchina.com/market/r/489267/com.appshare.android.ilisten.vapk?c=aplus.direct&uid=gAJ9cQEu1TlyZxsXN-aB4RaanvFL6t6Bj-vj0rIBs&p=aplus.detail&m=redirect';

　　$realUrl=getRedirectLocation($url);

echo "</br>--->",$realUrl;

function getRedirectLocation($url){

$realUrl=$url;

echo $url,"</br>";

$ch=curl_init();

curl_setopt($ch, CURLOPT_URL, $url);

curl_setopt($ch, CURLOPT_HEADER, 1);curl_setopt($ch, CURLOPT_TIMEOUT, 3);//设置curl执行时间不超过3秒

//curl_setopt($ch, CURLOPT_NOBODY, 1);//这行不能要，如果添上，那么在遇到302重定向的时候就会得不到真正的请求url

curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);

$content=curl_exec($ch);

//echo $content;

$rinfo=curl_getinfo($ch);

$matches=array();

if(preg_match('/Location:\s+?(.+?)\s+?/', $content,$matches)){

//echo $matches[1],"</br>";

unset($content);

$realUrl=getRedirectLocation($matches[1]);

}

if(isset($content)){

unset($content);

}

return $realUrl;

}