php可以抓取网页数据吗(PHP的curl()设置相关选项执行curl_RETURNTRANSFER)

优采云 发布时间: 2022-03-02 07:19

  php可以抓取网页数据吗(PHP的curl()设置相关选项执行curl_RETURNTRANSFER)

  PHP 的 curl() 爬取网页的效率相对较高,并且支持多线程,而 file_get_contents.jpg() 的效率略低。当然,使用 curl 时需要打开 curl 扩展。

  我们先看登录部分的代码:

  login_post()函数首先初始化curl_init(),然后使用curl_setopt()设置相关选项信息,包括要提交的url地址、保存的cookie文件、post数据(用户名和密码等)、是否提交返回信息等,然后curl_exec执行curl,最后curl_close()释放资源。注意,PHP 自带的 http_build_query() 可以将数组转换成拼接字符串。

  接下来,如果登录成功,我们需要获取登录成功后的页面信息。代码如下:

  函数get_content()也是先初始化curl,然后设置相关选项,执行curl,释放资源。我们将CURLOPT_RETURNTRANSFER设置为1自动返回信息,CURLOPT_COOKIEFILE可以读取登录时保存的cookie信息,最后返回页面内容。.

  我们的最终目标是获取模拟登录后的信息,即只有正常登录成功后才能获取的有用信息。下面我们以开源中国手机版为例,看看登录成功后如何抓取信息。信息。

  运行上述代码后,我们会看到最终得到了登录用户的头像。

  使用总结:1、初始化curl;2、使用 curl_setopt 设置目标 url 等选项;3、curl_exec,执行curl;4、执行后关闭curl;5、 输出数据。

  教程地址:

  欢迎转载!但请带上文章地址^^

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线