php抓取网页(php抓取网页的技巧要想高效率的浏览各个网站)

　　php抓取网页(php抓取网页的技巧要想高效率的浏览各个网站)

　　php抓取网页的技巧要想高效率的浏览各个网站，我们可以使用php进行网站的抓取，一共有四种方法：定时抓取、轮询抓取、程序化搜索、批量抓取。我先来介绍一下四种抓取技巧：定时抓取定时抓取，就是抓取之后把抓取速度调到最快。比如我想抓取某个网站里面所有资源，在有限的时间里只把那个网站抓取完，就放弃抓取其他网站，我就可以用定时抓取技巧来解决。

　　定时抓取有两种定时器方法：websocket：我们可以在本地安装服务器，然后用服务器提供的php服务器；http代理：我们可以直接将抓取的网站指向网站服务器，使用“websocket”的代理抓取程序进行抓取；http代理是在线服务器提供的，而无需用户自己安装相应的软件，由程序本身定时回调数据包，这样就保证了抓取速度。

　　在服务器端配置前端代理，之后程序中再进行正则匹配就可以抓取目标网站了。在线服务器配置用，参考-php/我一直用在线服务器配置，在web前端设置好所有网站的代理，所有抓取信息都能在服务器端得到，这样下次抓取时我们可以直接回调接收的网页的http代理，这样速度就快了。比如爬取小黄图，我就会发一个生成代理的http请求发给浏览器，然后浏览器利用代理去爬取小黄图。

　　轮询抓取轮询抓取，是一种通过websocket实现的技术，和定时抓取相比，它的抓取速度快。轮询抓取需要我们定时定量的向服务器发送http请求，根据服务器返回的响应找到网站中最新的页面内容（源页），然后上传，再继续使用已抓取到的页面去抓取下一个新的url（终结页）。轮询抓取有两种轮询模式：n次轮询：所有的页面都抓取一遍，所有页面抓取一遍，轮询永远是第一个页面。

　　every次轮询：每次轮询抓取一个最新的页面，轮询永远是第一个页面。轮询抓取后，直接转入下一个页面。由于轮询只抓取第一个页面，为了避免爬取速度太慢，现在轮询抓取要使用websocket。下面介绍两种websocket轮询实现的方法。轮询次数设置每次轮询抓取的轮数直接调整websocket协议的轮询次数即可，根据服务器返回的包格式的不同，可能使用不同的轮询次数。

　　但是，我们推荐初学者使用n=2的轮询次数。当网站的数据量达到一定级别时，就可以使用n=3的轮询次数了。但最好还是两个轮询次数，3轮或2轮比较好，如果是1.5轮或以上，浏览器就要认为你一直没有结束抓取，所以他不是一个好方法。轮询爬取流程请求返回url地址，然后利用代理抓取最新页面，获取最新的页面源页，然后将抓取得到的源页提交给服务器，服务器返回json格式的文本数据给浏览器，下载文本数据并解析出。