php 抓取网页生成图片(什么是代理？什么情况下会用到代理IP？(图) )

　　php 抓取网页生成图片(什么是代理？什么情况下会用到代理IP？(图)

)

　　什么是代理？什么情况下会使用代理IP？

　　Proxy Server，它的作用是代表用户获取网络信息，然后返回给用户。形象地说：它是网络信息的中转站。通过代理IP访问目标站，可以隐藏用户的真实IP。

　　比如你要抓取一段网站的数据，网站有100万条内容。他们设置了IP限制，每个IP每小时只能抢1000个。如果因为限制使用单个IP去抢 完成采集大约需要40天。如果使用代理IP，不断切换IP，可以突破每小时1000的频率限制，从而提高效率。

　　其他想要切换IP或者隐藏身份的场景也会用到代理IP，比如SEO。

　　代理IP有开放代理和私有代理。开放代理从全网扫描，不稳定，不适合爬取。随便用就好了。使用爬虫抓取数据，最好使用私有代理。网上私人代理的供应商很多，稳定性参差不齐。现在我们公司使用的是“可变IP”提供的私有代理。

　　我们公司有一个项目，抓取亚马逊数据分析销售、评论等，使用PHP抓取。爬取亚马逊时要特别注意header，否则输出数据为空。还有一种方法，可以用PHP通过shell_exec调用curl命令来抓取。

　　 PHP如果是使用curl函数来抓取，主要设置下面几项即可。

curl_setopt($ch, CURLOPT_PROXY, 'proxy.baibianip.com'); //代理服务器地址

curl_setopt($ch, CURLOPT_PROXYPORT, '8000'); //代理服务器端口

如果是抓取HTTPS，把下面两项设置为false：

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); //抓HTTPS可以把此项设置为false

curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false); //抓HTTPS可以把此项设置为false<br />

　　方法一：完整示例代码如下，下面提供两种方式来调用：

<p>