php抓取网页标签、对应的html内容抓取获取图片、视频、pdf等

　　php抓取网页标签、对应的html内容抓取获取图片、视频、pdf等

　　php抓取网页标签、对应的html内容抓取获取图片、视频、pdf等。web文件里面的数据可能是被manipulate到一个url或者context对象里面的，所以要对这个url（就是网页的一部分）进行一些解析，比如寻找“/”的第一个元素，再比如分析链接的href="/"href="/"href="/"等等从而获取里面的一些数据。

　　基础设置都配置好了怎么弄都可以

　　1.centos环境2.搜索jsoniteme生成请求ejs-jsonget3.抓取网页的话是否需要请求头结构

　　找个人下个爬虫就好了，不用到这里问。

　　我所知道的抓取网页html的方法只有两种，一是请求网页的数据，二是逆向分析html。请求网页数据可以用前端框架（比如bootstrap，vue等）或者后端框架（比如nodejs）生成url，使用正则匹配这些url的id来判断这个url下有哪些html数据。逆向分析html可以使用htmltxt或者javascriptbridges来逆向分析每个页面的代码，使用xmltomap或者反射来抓取html数据。

　　curl

　　还有scrapy等，

　　python爬虫flasktornadohttpsocketbs4

　　一直用的是python，

　　小程序直接出个demo

　　python

　　推荐一个阿里出的node.js爬虫框架：wetest