动态网页抓取(大厂的动态网页抓取分为前端动态抓取和后端抓取)

　　动态网页抓取(大厂的动态网页抓取分为前端动态抓取和后端抓取)

　　动态网页抓取分为前端动态抓取和后端动态抓取。1.首先fastdfs,iscaptureandlocalify分别只能抓后端的动态网页,首页加载项,和响应网页数据。要前端动态网页的,需要前端抓包工具mitmproxy/google-incapable。2.你说的页面类型我不知道是是什么类型的页面，你可以学习一下大厂的浏览器调试工具，一般都是在google搜索用的工具，如javascript,browserconfig等，将你提到的url地址提取出来(而不是http地址)，然后输入到工具里，能直接反馈出一堆浏览器命令行javascript对话框，例如：sethttp_protocol:httptype:get然后你自己体会吧。

　　抓取方法大致有两种:①批量抓取②数据包抓取。批量抓取，建议用代理包（nginx等等）抓取数据包，有人说现在网上爬虫层出不穷，其实爬虫早已脱离“爬虫”二字，直接是数据包分析。具体怎么爬取，实际上就是抓包+解析+分析包名目标网站的解析方法很多，有聚合页面，有清除js，有抓取jsfunction等等其中第二种方法就是爬虫容易丢失一些内容，非聚合页面又不太容易抓取，通常所需时间也很长，如何抓取就是一个很大的技术话题了，目前在“爬虫”问题上有很多人，不同的工具也有不同的套路，例如，由于抓取我的工具是v5爬虫框架架，国内确实有比较好的javascript解析工具，而海外也不乏专门做javascript解析工具的，不过还是抓包容易，数据包容易。