php抓取网页连接函数(PHP手册(再次一句一句以强调)手册真乃圣经)
优采云 发布时间: 2021-11-20 09:20php抓取网页连接函数(PHP手册(再次一句一句以强调)手册真乃圣经)
获取网页内容,PHP有几个可以实现的内置函数,比如file()、file_get_contents()等,都支持URL参数。但要实现更复杂的操作,这些功能就无能为力了。
cURL 是一个文件传输工具,它使用 URL 语法在命令行下工作。 cURL 提供了一个 PHP 扩展。有了这个扩展,你可以完全模拟浏览器操作,就像使用浏览器浏览网页一样。可以设置header内容、设置cookie数据、POST数据、上传文件、设置代理等,其实我们这里讨论的爬取网页内容只是其常用的应用之一。
cURL 官方网站:
PHP cURL 扩展:
Windows下添加这个扩展很简单,加载php_curl.dll即可。去掉php.ini文件extension=php_curl.dll前面的分号,将php_curl.dll复制到PHP扩展目录下或者重启C:\Windows\system32目录下的Web服务器。 php_curl.dll 在 PHP 的 ZIP 包中提供。
Linux下,需要先安装cURL。一种方法是编译成PHP,编译配置时加上--with-curl[=DIR]。另一种方法是将其编译为 PHP 模块并加载它。编译cURL模块的方法和编译其他PHP模块的方法一样,下面是基本命令:
cd /path/to/php/source 进入PHP源代码目录
cd ext/curl 进入cURL模块源码目录
/usr/local/php/bin/phpize 生成编译配置文件
./configure --with-php-config=/usr/local/php/bin/php-config
制作
进行安装
编译完成生成curl.so,修改php.ini,加载模块:
extension="/path/to/extension/curl.so"
测试cURL扩展是否加载,新建PHP文件:
抓取网页示例:
curl_setopt() 可以设置很多选项。更多选项请参考PHP手册。
更多的功能和用法,请参考PHP手册(再次废话,强调PHP手册真的是圣经。
).