php curl抓取网页指定内容(这篇文章主要是对CURLOPT_CUSTOMREQUEST参数的运用(图))

优采云 发布时间: 2021-10-10 07:11

  php curl抓取网页指定内容(这篇文章主要是对CURLOPT_CUSTOMREQUEST参数的运用(图))

  本文文章主要介绍PHP curl实现302跳转后的页面的例子,主要是CURLOPT_CUSTOMREQUEST参数的使用,需要的朋友可以参考

  PHP的CURL正常抓取页面程序如下:

   $url = 'http://www.baidu.com'; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_VERBOSE, true); curl_setopt($ch, CURLOPT_HEADER, true); curl_setopt($ch, CURLOPT_NOBODY, true); curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'GET'); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_TIMEOUT, 20); curl_setopt($ch, CURLOPT_AUTOREFERER, true); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); $ret = curl_exec($ch); $info = curl_getinfo($ch); curl_close($ch);

  如果抓取到302状态,那是因为在爬取过程中,有些跳转需要给下一个链接传递参数,如果没有收到相应的参数,下一个链接也被设置了,就是非法访问。

   curl_setopt($curl, CURLOPT_CUSTOMREQUEST, 'GET');

  显示应该是正常的。

  上面是用来抓取函数的,应该几乎没有问题。您可以查看 CURLOPT_CUSTOMREQUEST 相关信息。

  使用自定义请求消息而不是“GET”或“HEAD”作为 HTTP 请求。这对于执行“DELETE”或其他更模糊的 HTTP 请求很有用。有效值为“GET”、“POST”、“CONNECT”等。换句话说,不要在此处输入整个 HTTP 请求。例如,输入“GET /index.html HTTP/1.0\r\n\r\n”是错误的。

  以上就是302跳转后页面的PHP curl实现示例的详细内容。更多详情请关注其他相关html中文网站文章!

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线