php 抓取网页内容(www聚合模块怎么样真不知道php抓取网页内容是比较简单)

　　php 抓取网页内容(www聚合模块怎么样真不知道php抓取网页内容是比较简单)

　　php抓取网页内容是比较简单，因为完全可以用http抓包方法来抓取，但是swoole支持更多，抓取效率也大大高于http，因此大家都知道有http抓包方法是比较麻烦的，因此也会尝试使用swoole来抓取www网页，

　　phpphpd的groupproxy支持http代理抓取，200请求连接抓取比使用scrapy的curl等方法好用的多。你要抓取在线旅游类网站的话，使用cookieless和session相关组件也可以，更先进方案如使用swoole等。

　　php的完全可以直接抓取，好处是使用起来比较方便。但是php有个优点是，php服务不容易解析代理。所以网页下载php代理时，整个抓取系统比较慢，而scrapy却没有代理这个问题。

　　@黄侃的答案是扯淡，swoole介绍过也了解过，但是www聚合模块怎么样真不知道。用php抓取j2ee方面的页面是比较轻松的。j2ee肯定需要一个http请求代理，在搭建webcontroller的时候肯定也是需要一些代理的。我个人觉得抓取j2eeapi的页面应该可以抓住。至于说网页下载，那样还不如用grab(github),indexwebcontroller大家谈的太多了，方便易用绝对不会错。

　　针对web页面有个scrapy的官方组件j2eeconfiguration，

　　抓取网页和抓取模块都能找到，然后根据规则改beautifulsoup代理就可以抓取了，