php curl抓取网页指定内容(给出使用curl获取网页代码的简单例子(图))

优采云 发布时间: 2021-09-13 08:20

  php curl抓取网页指定内容(给出使用curl获取网页代码的简单例子(图))

  在php中,根据url获取网页内容非常方便。可以通过系统内置函数file_get_contents()传入url,返回网页内容。例如获取百度主页的内容代码为:

  可以显示百度首页的内容,但是这个功能不是万能的,因为有些服务器禁用了这个功能,或者这个功能没有把某些必要的参数传递给服务器,服务器拒绝响应。例如:

  此代码无法获取网易首页的完整代码,会返回如下页面。这个时候就需要想别的办法了。

  这里介绍php的cURL库,可以方便有效的抓取网页。你只需要运行一个脚本,然后分析你抓取的网页,然后你就可以通过编程的方式得到你想要的数据。无论您是想从链接中获取部分数据,还是获取 XML 文件并将其导入数据库,即使只是获取网页内容,cURL 都是一个强大的 PHP 库。要使用它,首先必须在 php 配置文件中打开它。当它打开时,windows 中可能需要一些dll。我不相信这里的介绍。要检查 curl 是否打开,您可以调用 phpinfo();检查它是否打开,它会显示在“加载的扩展”中。

  以下是使用curl获取网页代码的简单示例:

  curl_setopt ($ch, CURLOPT_USERAGENT,'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36');curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);$html = curl_exec($ch);echo $html;

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线