php curl抓取网页指定内容(使用PHP的cURL库可以简单和有效地去抓网页。)

优采云 发布时间: 2021-09-28 11:14

  php curl抓取网页指定内容(使用PHP的cURL库可以简单和有效地去抓网页。)

  使用 PHP 的 cURL 库来简单有效地抓取网页。你只需要运行一个脚本,然后分析你抓取的网页,然后你就可以通过编程的方式得到你想要的数据。无论您是想从链接中获取部分数据,还是获取 XML 文件并将其导入数据库,即使只是获取网页内容,cURL 都是一个强大的 PHP 库。本文主要介绍如何使用这个PHP库。

  启用卷曲设置

  首先我们要先判断我们的PHP是否启用了这个库,可以通过php_info()函数来获取这个信息。

  如果在网页上可以看到如下输出,说明cURL库已经开启。

  

  如果你看到它,那么你需要设置你的 PHP 并启用这个库。如果你是windows平台,很简单,你需要改变你的php.ini文件的设置,找到php_curl.dll,去掉前面的分号。如下:

  

//取消下在的注释

extension=php_curl.dll 

  如果你在 Linux 下,那么你需要重新编译你的 PHP。编辑时需要开启编译参数——在configure命令中添加“--with-curl”参数。

  一个小例子

  如果一切就绪,这里有一个小程序:

  从上面的程序可以看出,CURLOPT_POST是用来设置HTTP协议的POST方法而不是GET方法的,然后CURLOPT_POSTFIELDS是用来设置POST数据的。

  关于代理服务器

  下面是一个如何使用代理服务器的示例。请注意其中高亮的代码,代码很简单,我就不用多说了。

  关于 SSL 和 Cookie

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线