php可以抓取网页数据吗(PHP的curl()设置相关选项执行curl_RETURNTRANSFER)
优采云 发布时间: 2022-03-02 07:19php可以抓取网页数据吗(PHP的curl()设置相关选项执行curl_RETURNTRANSFER)
PHP 的 curl() 爬取网页的效率相对较高,并且支持多线程,而 file_get_contents.jpg() 的效率略低。当然,使用 curl 时需要打开 curl 扩展。
我们先看登录部分的代码:
login_post()函数首先初始化curl_init(),然后使用curl_setopt()设置相关选项信息,包括要提交的url地址、保存的cookie文件、post数据(用户名和密码等)、是否提交返回信息等,然后curl_exec执行curl,最后curl_close()释放资源。注意,PHP 自带的 http_build_query() 可以将数组转换成拼接字符串。
接下来,如果登录成功,我们需要获取登录成功后的页面信息。代码如下:
函数get_content()也是先初始化curl,然后设置相关选项,执行curl,释放资源。我们将CURLOPT_RETURNTRANSFER设置为1自动返回信息,CURLOPT_COOKIEFILE可以读取登录时保存的cookie信息,最后返回页面内容。.
我们的最终目标是获取模拟登录后的信息,即只有正常登录成功后才能获取的有用信息。下面我们以开源中国手机版为例,看看登录成功后如何抓取信息。信息。
运行上述代码后,我们会看到最终得到了登录用户的头像。
使用总结:1、初始化curl;2、使用 curl_setopt 设置目标 url 等选项;3、curl_exec,执行curl;4、执行后关闭curl;5、 输出数据。
教程地址:
欢迎转载!但请带上文章地址^^