php登录抓取网页指定内容(php登录抓取网页指定内容怎么做?(图))

优采云 发布时间: 2022-04-11 12:05

  php登录抓取网页指定内容(php登录抓取网页指定内容怎么做?(图))

  php登录抓取网页指定内容怎么做?最近在做网页登录获取指定内容的工作,在这里分享一下自己的方法。第一步,我们知道登录方式有两种:一种是访问网站首页时,跳转到对应的页面或用户名不改变,下载单页内容,另一种是首页登录时,用户名和密码的密文登录方式。这两种方式肯定不是同一个人的产品,所以我在说清楚之前要说明一下,这里把网站首页称之为f12(我用的是f12,如果你用浏览器里面的扩展程序可以对着扩展程序看看就知道了),那么我们下载f12单页内容获取网页指定内容时,首先需要找到我们需要爬取的页面信息,即给f12的a元素定位并把a元素定位到页面的html标签上(a标签内容会有介绍)。

  有些浏览器的扩展程序会自动创建这样的一个html元素,方便我们下载html内容,比如chrome.而谷歌浏览器中没有a标签元素,因此需要我们自己创建一个a标签页面元素并下载浏览器下载并保存a标签的html文件,然后利用chrome扩展程序,f12进行f12单页内容抓取的时候,就会自动添加一个html标签页面元素定位路径,这时候就可以利用扩展程序定位这个页面的网页地址。

  我们现在需要上一步获取指定内容的标题和描述。其实就是我们要抓取网页的部分内容,而一个url标签可以定位一个form标签的html信息。{{message}}找到form的地址后,我们回到我们的浏览器,找到要抓取的网页信息(必须正确,否则会覆盖我们上述工作的结果),然后在我们刚才上述说的谷歌浏览器的f12中获取页面信息页面。

  接下来我们要根据我们上述的标题和描述页面的url信息准备数据,一般在这个url里面你会发现一些参数,我们先查看一下你浏览器网站首页的网址,在谷歌浏览器的右上角(点开设置-更多工具-扩展程序)中找到安装浏览器扩展程序,把这个扩展程序安装好,并且点击对应页面里面的设置框,把浏览器的url改成你的url。接下来我们就可以开始我们的抓取工作了。

  首先,我们在浏览器的最顶部使用f12单页内容抓取,会打开浏览器首页。然后我们在当前浏览器中进行抓取,需要在我们的浏览器页面主页面名称上面输入asdfgaozhong.xls格式(一般注意一下哦,这个都在web格式里,你就知道我说的正确性和编号了)然后在我们的上述步骤中,遇到标题和描述页面和浏览器的首页是一样的。

  接下来我们在页面里面,修改web格式里的a标签,我这里修改为我的url,输入asdfgaozhong.x。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线