php 抓取网页 源码(路由传输干啥post请求谷歌官方中间人协议可以爬虫)

　　php 抓取网页 源码(路由传输干啥post请求谷歌官方中间人协议可以爬虫)

　　php抓取网页源码找到中间人协议可以爬虫，方便本地开发，这个php-fpm系列框架已经有了bigfox抓取*敏*感*词*，

　　可以使用grunt,webpack,nodejs对你想要抓取的页面进行编程自动化。python的话proxylib和preprocessor是可以搞定抓取全部网页的。

　　想看看路由传输干啥

　　post请求谷歌官方的中间人攻击软件是可以抓到的，具体哪家的哪个版本的有点忘记了，有些是可以抓到。rails就不要想了，直接请求谷歌的官方服务不行么？还要rails网站的存在，所以只能手工请求，同时也要考虑被人劫持了。手工爬的成本和效率不好掌握。

　　百度可以抓到，另外可以试试各类爬虫工具，比如我司新出的灰帽星锋。

　　爬虫应该可以。

　　反编译页面是高效又低成本的路子。

　　如果是用php进行抓取，百度不可能不抓，你只需要提高自己代码的技术能力，例如加入各种保护。

　　其实很多公司的爬虫系统都可以去抓别人的，例如http请求报文啊，爬虫使用的语言啊。相关讨论-pagespider-请求记录与http报文分析我记得百度是这么干的，那些抓爬虫，

　　python是一个快速有效的脚本语言。所以我猜百度的反爬虫技术应该是根据python语言实现的。很多大公司有针对python爬虫的团队。例如uber的反爬虫团队。