动态网页抓取(动态网页抓取指的是你所不知道的事儿)

　　动态网页抓取(动态网页抓取指的是你所不知道的事儿)

　　动态网页抓取指的是你抓取某一个网站，通过重定向的方式获取另一个网站。一般有两种方式:抓包实现抓包，就是拿到该网站网址后的url地址(get,post),然后对其进行正则匹配。后端返回的json数据有好多个接口的，其中一个就是返回的响应网页。其实你需要抓包的可能是你要抓取的网站链接，而不是想获取的是网页内容。

　　iframe可抓包的，但如果是第三方需要登录的app有些不行，

　　推荐个小站：

　　在excel中利用vba连接sheet2后可以通过编辑事件对sheet2中的数据进行抓取

　　我知道一个工具可以抓取第三方app分享的内容，并提取数据。全用diy模式。

　　1.关注微信公众号“youxisizhi”发送'我想看app'就能看到了。2.手机发送'然后复制就好'就能看见你想看的app的分享页面。

　　diy模式

　　建议试试以下工具：appxxxopts[谷歌]，这个模式可以利用最新的sdl论坛的驱动或者自己去买。

　　xbpp可以抓取安卓主流浏览器ie的数据

　　建议使用万能的wooyun吧，全球最大的app分享平台，

　　fiddler+python，

　　万能浏览器，输入“otp”或者使用xx助手等轻量级浏览器模拟器。